14 · 数据泄漏的七种来源

   把七种泄漏【同时】犯一遍：

     离线 5 折 CV 的 AUC .......... 0.977   ← 你会截图发群里
     诚实评估的 AUC ............... 0.573   ← 上线后的真实水平

     落差 = 0.404          三个随机种子跑出来：0.406 / 0.403 / 0.391

   再把七种拆开，各自单独犯一次（都是同一套数据、同一个模型）：

   泄漏类型              有泄漏      无泄漏     落差
   ───────────────────────────────────────────────
   ① 时间穿越（随机切分） 0.810  →   0.682    0.128
   ② 目标编码没做 OOF     0.854  →   0.707    0.147   ⭐ 这是 CV 分
   ③ 预处理先于切分(SMOTE)0.984  →   0.849    0.135
   ④ 分组泄漏（同用户）   0.706  →   0.564    0.142
   ⑤ 重复样本跨集         0.745  →   0.605    0.140
   ⑥ 代理变量             0.970  →   0.686    0.284   💀 最大
   ⑦ 外部数据带未来信息    —— 症状同 ①，但更难查

   对每一个特征、每一条流程，问：

   ① 时间：这个值在【预测那一刻】就已经存在了吗？
        —— 不是"数据库里有"，是"那一刻已经产生并且能查到"

   ② 身份：这个值的计算，用到过【被预测的这一行的标签】吗？
        —— 包括间接用到（编码、填充、采样、筛选）⭐

   ③ 边界：训练集和测试集之间，有没有【同一个东西】跨过去？
        —— 同一个人、同一次会话、同一条被复制的记录、同一天

   随机切分 AUC = 0.810
   按时间切分   = 0.682
   按时间切 + 【把 day 这一列删掉】 = 0.685   ⭐ 几乎没变

   需求文档：  "用户近 30 天的下单次数"
   SQL 实现：  SELECT COUNT(*) FROM orders WHERE user_id = ?
               AND dt BETWEEN '2025-01-01' AND '2025-01-31'

   💀 这条 SQL 对【每一行样本】用的都是同一个固定窗口，
      于是 1 月 3 日那条样本的特征里，
      包含了 1 月 3 日到 1 月 31 日发生的事。

   ⭐ 正确写法必须让窗口跟着样本时间走：
      AND o.dt BETWEEN date_sub(s.event_time, 30) AND s.event_time
                                                     ↑ 这个上界是命门

   标准化   —— 泄漏了测试集的均值和方差       损失通常很小（0.00x）
   缺失填充 —— 泄漏了测试集的中位数/众数      损失中等
   SMOTE    —— 💀 泄漏了测试集正例的【位置】  损失巨大

   常见的代理变量（每一个都在真实项目里出现过）：

   预测流失      ← 「退款金额」「客服工单数」「账号注销申请时间」
   预测欺诈      ← 「风控备注」「人工审核结论」「冻结状态」⭐ 结论字段最毒
   预测疾病      ← 「用药记录」「转诊科室」「住院天数」
   预测违约      ← 「催收次数」「展期申请」
   预测点击      ← 「曝光时长」「页面停留」（这些是点击【之后】才有的）

   典型形态：

   · 企业工商数据       ——「经营状态」是【今天】的状态，
                          你却把它当成两年前那笔贷款申请时的状态 💀
   · 第三方信用分       ——供应商每月刷新，历史版本不保留
   · 城市 POI / 房价    ——只有最新一版
   · 爬来的商品评分      ——评分是累计到今天的
   · 预训练模型的语料    ——⭐ 你的评测集可能已经在它的训练语料里了

   系统：某消费信贷的首逾预测模型（预测放款后首期是否逾期）
   数据：申请单 62 万条，跨 26 个月
   团队：3 个算法 + 1 个数据工程

   ① 5 折 CV 是【随机】切的 —— 26 个月的数据被打散了       泄漏①
   ② 目标编码在切分之前算好，4 万个商户平均每个 15 单     泄漏②
   ③ 第三方多头数据是【当前快照】，供应商不提供历史版本    泄漏⑦
      → 一个 2023 年的申请人，配的是 2025 年的多头记录
      → 已经逾期的人在 2025 年的多头次数当然更高  💀

   ⭐ 折间标准差 0.004 反而是【泄漏的证据】而不是稳定性的证据：
      泄漏的信息在每一折里都同样存在，所以每一折都同样虚高。
      "非常稳定"在这里的意思是"每一折都错得一样多"。

   放款金额         这 4 个月按新模型放出去    2.7 亿
   实际首逾率       预期 1.9%  →  实际 3.4%
   多出来的坏账     约 4050 万 × 回收率折算后 ≈ 2900 万
   人力             3 人 × 12 周 白做，加 5 周返工
   ⭐ 从上线到发现  28 天（等首期到期，这是硬约束）
   ⭐ 从建模到发现  9 周   ← 真正该压缩的是这一段

import numpy as np
from sklearn.metrics import roc_auc_score

def single_feature_auc(X, y, names, warn=0.85):
    """每个特征单独算 AUC。⭐ 抓代理变量最快的办法"""
    out = []
    for j, nm in enumerate(names):
        v = np.asarray(X[:, j], dtype=float)
        ok = ~np.isnan(v)
        if ok.sum() < 50 or len(np.unique(y[ok])) < 2:
            continue
        a = roc_auc_score(y[ok], v[ok])
        a = max(a, 1 - a)                      # ⭐ 方向无所谓，看的是"分得开吗"
        out.append((nm, round(a, 3), "🚨 疑似泄漏" if a > warn else ""))
    return sorted(out, key=lambda r: -r[1])

# ⭐ 判读：任何单特征 AUC > 0.85 都要人工过一遍它的写入时刻

import numpy as np, hashlib

def split_audit(X_tr, X_te, t_tr=None, t_te=None, g_tr=None, g_te=None):
    """一次查完：时间重叠 / 组重叠 / 重复样本跨集"""
    rep = {}
    if t_tr is not None:                       # ⭐ 时间边界：训练集最晚 < 测试集最早
        rep["时间重叠"] = float(np.max(t_tr) - np.min(t_te))
    if g_tr is not None:                       # ⭐ 组边界：期望恰好是 0
        rep["跨集组数"] = len(set(np.asarray(g_tr).tolist())
                              & set(np.asarray(g_te).tolist()))
    h = lambda A: {hashlib.md5(np.ascontiguousarray(r).tobytes()).hexdigest()
                   for r in np.asarray(A, dtype=float)}
    rep["跨集重复行"] = len(h(X_tr) & h(X_te))  # ⭐ 期望也是 0
    return rep

# 判读：三个数字里任何一个 > 0，就先别看指标了

import numpy as np
from sklearn.model_selection import KFold

def oof_target_encode(cat_tr, y_tr, cat_te, k=20, n_splits=5, seed=0):
    """⭐ 训练集用 OOF 值，测试集用全训练集的映射；k 是平滑强度"""
    cat_tr, y_tr = np.asarray(cat_tr), np.asarray(y_tr, dtype=float)
    prior = y_tr.mean()

    def fit_map(c, y):
        m = {}
        for v in np.unique(c):
            s = y[c == v]
            m[v] = (s.sum() + prior * k) / (len(s) + k)   # ⭐ 低频类别被拉回先验
        return m

    oof = np.full(len(cat_tr), prior)
    for a, b in KFold(n_splits, shuffle=True, random_state=seed).split(cat_tr):
        mp = fit_map(cat_tr[a], y_tr[a])                 # ⭐⭐ 只用【折外】数据 fit
        oof[b] = [mp.get(v, prior) for v in cat_tr[b]]
    mp_all = fit_map(cat_tr, y_tr)
    enc_te = np.array([mp_all.get(v, prior) for v in np.asarray(cat_te)])
    return oof, enc_te

# ⚠️ 修好之后 CV 分数【一定会掉】。掉下去的那部分本来就不是你的。

   上线前必跑的四条门禁（任何一条不过就拦住）：

   ① 切分体检三个数字全为 0（时间重叠 / 跨集组 / 跨集重复行）
   ② 单特征 AUC 榜首 < 0.85，否则必须附一份字段说明
   ③ 随机切分 AUC 和 按时间切分 AUC 的差 < 0.03            ⭐⭐ 最有价值的一条
   ④ 所有有状态变换都在 Pipeline 里（代码评审人肉确认）

   ⭐ ③ 之所以最有价值：它不需要你知道泄漏在哪，
      它只需要两次实验，就能回答"我的评测方式本身可不可信"。