16 · 重训练

   ⭐ 按第 6 章的四分法先定性：

   ① 管道坏了       → 【绝不重训】，先修管道  💀
   ② 数据漂移       → 重训有效  ✅
   ③ 概念漂移       → 重训有效，但要调训练窗口  ✅⭐
   ④ 标签漂移       → 可能只需重新校准，比重训便宜  ⭐

   ⭐ 一个能算的判据：看【模型效果的衰减速度】

   ① 拿一个历史模型，冻结它
   ② 用它去预测之后 1、2、4、8 周的数据
   ③ 画出效果衰减曲线
   ④ 找到「掉到不可接受」的那个点 → 重训周期设成它的一半

   例：8 周后 AUC 掉 0.02（可接受上限是 0.015）
       → 大约 6 周越线 → 重训周期设 3 周

from sklearn.metrics import roc_auc_score
import pandas as pd

def decay_curve(df, train_end_week, model_fn, feats, horizons=(1, 2, 4, 8, 12)):
    """冻结一个在 train_end_week 之前训好的模型，看它之后 k 周的效果衰减
    df 需要有 week 列；model_fn(训练集) 返回一个已 fit 的模型"""
    m = model_fn(df[df.week <= train_end_week])          # ⭐ 训完就冻住，之后不再更新
    rows = []
    for k in horizons:
        seg = df[(df.week > train_end_week) & (df.week <= train_end_week + k)]
        auc = roc_auc_score(seg.y, m.predict_proba(seg[feats])[:, 1])
        rows.append({"上线后第几周": k, "AUC": round(auc, 4)})
    return pd.DataFrame(rows)

# 典型输出：
#    上线后第几周     AUC
#            1     0.8410
#            2     0.8395
#            4     0.8352
#            8     0.8218      ← ⭐ 相对起点掉了 0.019，接近可接受上限
#           12     0.8079

   ⭐ 这是重训里最被忽略、也最有价值的一个决策

   窗口太短 → 样本少，方差大，学不到长期规律
   窗口太长 → 混进了【已经过时】的规律（概念漂移）💀

def time_decay_weight(days_ago, half_life=30):
    """指数衰减：半衰期 30 天 → 30 天前的样本权重是今天的一半"""
    return 0.5 ** (days_ago / half_life)

sample_weight = time_decay_weight(df["days_ago"].values, half_life=30)
model.fit(X, y, sample_weight=sample_weight)     # ⭐ 大多数库都支持

   很多人默认「数据越多越好」，但在概念漂移的场景下：

   用最近 3 个月 的数据训   →  AUC 0.81
   用全部 2 年 的数据训     →  AUC 0.78   ⭐ 更差

   → 老数据不是没用，是【有害】

import pandas as pd
def tune_window(df, valid_start, model_fn, feats,
                windows=(30, 60, 90, 180, 365, 10**9)):
    """把训练窗口当超参数调。⭐ 验证集必须在【时间上靠后】，不能随机切"""
    va = df[df.day >= valid_start]
    rows = []
    for w in windows:
        tr = df[(df.day < valid_start) & (df.day >= valid_start - w)]
        m = model_fn(tr)
        rows.append({"窗口(天)": w, "训练样本": len(tr),
                     "AUC": round(roc_auc_score(va.y, m.predict_proba(va[feats])[:, 1]), 4)})
    return pd.DataFrame(rows)

# 典型输出（⭐ 注意 AUC 是【先涨后跌】的，最优窗口在中间）：
#   窗口(天)   训练样本      AUC
#        30    62,000     0.7902     ← 样本太少，方差大
#        60   124,000     0.8071
#        90   186,000     0.8118     ← ⭐ 最优
#       180   371,000     0.8043
#       365   742,000     0.7961
#      全量  1,510,000    0.7834     ← 💀 默认做法，反而最差

   [ ] 用【时间上更靠后】的数据做验证集（不能随机切）⭐
   [ ] 和线上现役模型在【同一批数据】上比 ⭐⭐
   [ ] 特征重要性排序有没有剧烈变化（剧变=数据可能有问题）⭐
   [ ] 预测分布和现役模型差异有多大
   [ ] 走影子 → 灰度（第 3 章），不要直接全量

   每次重训后，把【新模型】和【上一版】都保留
   → 新模型表现不如预期时，能立刻切回

   ⭐ 而且要保留【至少 3 个版本】——
      因为问题可能是几周前那次重训引入的

   数据 ──[闸1]──→ 训练 ──[闸2]──→ 评估 ──[闸3]──→ 影子 ──[闸4]──→ 灰度 ──[闸5]──→ 全量

   闸1 数据质量：行数、缺失率、分布是否正常     ⭐ 挡住"管道坏了还硬训"
   闸2 训练健康：loss 收敛、无 NaN、耗时正常
   闸3 效果对比：在同一验证集上不差于现役模型   ⭐
   闸4 一致性  ：训练/推理特征比对通过（第 4 章）⭐⭐
   闸5 灰度指标：小流量上业务指标不恶化

def gate_data_quality(new, ref, feats, psi_max=0.25, row_drop_max=0.2):
    """闸1：⭐ 不能只看行数和缺失率 —— 那两项是最低标准，挡不住"单位变了"这类故障"""
    issues = []
    if len(new) < len(ref) * (1 - row_drop_max):
        issues.append(f"行数骤降：{len(new)} vs 基准 {len(ref)}")
    for f in feats:
        miss = new[f].isna().mean()
        if miss > ref[f].isna().mean() + 0.05:
            issues.append(f"{f} 缺失率异常：{miss:.1%}")
        p = psi(new[f], ref[f])                       # 第 6 章的 PSI
        if p > psi_max:
            issues.append(f"{f} 分布突变：PSI={p:.2f}")   # ⭐⭐ 真正挡住事故的是这一行
    return (len(issues) == 0), issues

   系统：风控模型，每周一凌晨自动重训，训练窗口 90 天

   周六：上游埋点发版，把 device_age_days 的单位从【天】改成【小时】
        26 小时后被发现并回滚 —— 线上模型当时靠降级扛过去了 ✅
   周一：自动重训照常跑

   模型学到了「device_age_days 取到 1000+ 也是正常的」
   → 它降低了这个特征的整体权重

   分人群看才看得见：
   · 新设备用户的欺诈召回率：61%  →  38%   💀
   · 而新设备欺诈是低频场景，整体指标上几乎看不出

   → 三周后由业务方发现（"最近新号薅羊毛的变多了"）

   ① 闸1 加 PSI：拿本次训练数据和上次训练数据逐特征对比    ⭐⭐
   ② 闸3 加【分人群】对比：整体不差还不够，每个关键人群都不能明显差  ⭐
   ③ 维护一张【数据事故时间表】，重训时自动剔除或降权这些时间段的样本

   💡 ③ 是很多团队没想到的：
      线上事故修好了，但那段时间的数据【永远留在了训练集里】