06 · 数据漂移与概念漂移

   数据漂移：
   营销渠道换了 → 来的用户从 35 岁白领变成 22 岁学生
   → 「收入高的人违约率低」这条规律【依然成立】
   → 重新训练（用新人群的数据）就能修好  ✅

   概念漂移：
   经济环境变了 → 同样收入、同样年龄的人，违约率整体上升
   → 「收入 → 违约率」这条【关系本身变了】
   → 必须用新数据重训，而且【旧数据可能有害】⭐

   标签漂移：
   风控策略放松 → 通过率提高 → 坏账率从 2% 涨到 5%
   → 模型排序可能还对，但【输出的概率不再校准】
   → 修法可能只需要重新校准，不用重训  ⭐

   把特征分成 10 个桶（按训练集的分位数切）
   算每个桶的占比变化

   PSI < 0.1     稳定       ✅
   0.1 ~ 0.25    有变化     ⚠️ 关注
   PSI > 0.25    显著漂移   🔴 该查了

import numpy as np

def psi(base, live, bins=10):
    """base/live 是同一个特征的两批取值。按 base 的分位数切桶。"""
    edges = np.quantile(base, np.linspace(0, 1, bins + 1))
    edges[0], edges[-1] = -np.inf, np.inf        # ⭐ 防止线上出现超界值被丢掉
    b = np.histogram(base, edges)[0] / len(base)
    l = np.histogram(live, edges)[0] / len(live)
    eps = 1e-6                                    # ⭐ 防 log(0)
    b, l = np.clip(b, eps, None), np.clip(l, eps, None)
    return float(np.sum((l - b) * np.log(l / b)))

   ① 训练集样本标成 0，线上样本标成 1
   ② 训一个分类器区分它们
   ③ 如果 AUC ≈ 0.5  → 两批数据分不开 → 没有漂移  ✅
      如果 AUC 明显 > 0.5 → 有漂移 🔴

   ⭐ 更值钱的是第 ④ 步：
   ④ 看这个分类器的【特征重要性】—— 排在最前的就是漂移的元凶

   数据漂移：看输入就能发现       ← 不需要标签  ✅
   概念漂移：必须知道【真实答案】才能发现  ← 需要标签  💀

   ① 突变（sudden）
      政策变了、竞品上线、疫情开始
      └ 表现：某一天指标断崖式下跌

   ② 渐变（gradual）⭐ 最危险
      用户习惯慢慢改变
      └ 表现：每天掉一点点，单看哪天都在正常波动内
      └ 三个月后回头看，已经掉了 20%

   ③ 周期性（recurring）
      季节、节假日、工作日/周末
      └ 不是"坏"，但模型要能处理

   把有标签的样本按时间排，算每周的 AUC

   周1  0.82
   周2  0.81
   周3  0.81
   周4  0.79   ← 单看是正常波动
   周5  0.78
   周6  0.76   ← 和周1比已经掉了 0.06  🔴

   ⭐ 关键是【和基线比】，不是和上周比

   ① 是数据管道坏了吗？
      → 突变 + 只有个别特征异常 + 缺失率变化
      → 【先修管道，绝不重训】⭐（重训会把错误固化，见第 1 章）

   ② 是数据漂移吗（P(x) 变）？
      → 输入分布变了，但有标签的样本上模型还准
      → 用新数据重训 / 加样本权重

   ③ 是概念漂移吗（P(y|x) 变）？
      → 输入分布没怎么变，但预测准确率掉了
      → 必须用新数据重训，且【要考虑丢掉太旧的数据】⭐

   ④ 是标签漂移吗（P(y) 变）？
      → 排序还对，但概率不准了
      → 可能只需重新校准，不用重训  ⭐ 最便宜

   某外卖平台的配送时长（ETA）预估模型
   特征：距离、时段、天气、商家出餐历史、骑手密度……

   某个月开始，用户投诉"预计 30 分钟实际 45 分钟"暴涨

   查漂移监控：
   · 全部 47 个特征的 PSI 都 < 0.06        ✅ 全绿
   · 对抗验证 AUC = 0.52                   ✅ 分不开
   · 预测值分布：均值 31.2 → 31.5 分钟     ✅ 几乎没动

   → 监控体系一个字都没说

   平台调整了骑手的接单规则（一次最多并单从 3 单改成 5 单）
   → 【输入特征一个都没变】：距离一样、时段一样、骑手密度一样
   → 但【同样的输入，实际配送时长普遍多了 4 分钟】

   ⭐ 这就是教科书定义里的 P(y|x) 变了 —— 而且是外部规则造成的

import numpy as np, pandas as pd, lightgbm as lgb
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import roc_auc_score

def adversarial_validation(train_df, live_df, n=50000, seed=0):
    """返回 (AUC, 每个特征的重要性)。AUC≈0.5 说明两批数据分不开。"""
    rng = np.random.default_rng(seed)
    a = train_df.sample(min(n, len(train_df)), random_state=seed)
    b = live_df.sample(min(n, len(live_df)), random_state=seed)
    X = pd.concat([a, b], ignore_index=True)
    y = np.r_[np.zeros(len(a)), np.ones(len(b))]          # ⭐ 训练集=0，线上=1

    # ⭐ 一定要打乱，否则按时间排列的数据在 CV 里会泄漏
    idx = rng.permutation(len(X)); X, y = X.iloc[idx], y[idx]

    clf = lgb.LGBMClassifier(n_estimators=200, learning_rate=.05,
                             num_leaves=31, verbose=-1)
    # ⭐ 用交叉验证的 out-of-fold 概率算 AUC，避免自己评自己
    oof = cross_val_predict(clf, X, y, cv=5, method="predict_proba")[:, 1]
    auc = roc_auc_score(y, oof)

    clf.fit(X, y)
    imp = pd.Series(clf.feature_importances_, index=X.columns) \
            .sort_values(ascending=False)
    return auc, imp

   怎么读结果：
   AUC ≤ 0.55        两批数据基本一致        ✅
   0.55 ~ 0.70       有可察觉的漂移          ⚠️ 看 imp 前几名
   0.70 ~ 0.90       明显漂移                🔴
   > 0.90            💀 几乎可以完美区分
                     —— 先怀疑【泄漏了时间类特征】（如 event_date、id 自增）

   PSI 的随机波动和样本量的关系（10 桶、无真实漂移时的经验值）：

   样本量     PSI 的典型随机波动
   500        0.05 ~ 0.12     ← 阈值 0.1 会天天报警  💀
   2,000      0.02 ~ 0.05
   10,000     0.005 ~ 0.015
   100,000    < 0.005          ← 这时 0.1 才是个有意义的阈值  ✅

   ⭐ 结论：PSI 的经典阈值（0.1 / 0.25）默认你有【上万条】样本。
      分人群、分渠道拆细之后，每个格子的样本量会掉得很快 ——
      这是「拆细之后到处都在报警」的真正原因。