07 · 没有标签怎么发现退化

   ⭐ 一个残酷的算术：
   信贷模型标签延迟 3 个月
   → 你今天发现的问题，是 3 个月前就开始的
   → 这 3 个月里放出去的所有贷款，都已经是坏决策了

   按「有多接近真实指标」排序：

   ① 输入侧：特征分布漂移        ← 第 6 章，最早的信号
   ② 输出侧：预测分布变化        ← 第 5 章
   ③ 行为侧：用户对结果的即时反应  ⭐ 最有价值
   ④ 一致性：模型之间互相验证     ⭐
   ⑤ 抽样：人工标一小批          ← 最准，最贵

   ⭐ 用法不是「用代理替代真实标签」，而是：

   ① 用【历史数据】算出代理和真实标签的相关性
   ② 只要这个相关性是稳定的，就能用代理做【早期预警】
   ③ 代理指标异动 → 提前几周知道要出事
   ④ 真实标签到了之后，回头验证代理是否还可靠  ⭐

   A. 新旧模型对比
      同一批请求，新旧模型的预测差异突然变大
      → 至少有一个出问题了

   B. 冠军-挑战者（champion-challenger）
      线上跑主模型，同时用影子流量跑一个【简单模型】（如逻辑回归）
      → 简单模型不容易坏，可以当参照系  ⭐
      → 两者差异突然变大 = 复杂模型可能出问题了

   C. 自洽性检查
      同一个用户，特征只变了一点点，预测却剧烈变化
      → 模型不稳定

   每天/每周随机抽 100~500 条，人工标注真实答案
   → 得到一个【小样本但无延迟】的准确率估计

   ⭐ 关键设计：
   · 必须【随机抽】，不能只抽模型不确定的（那会高估错误率）
   · 要固定流程和标注规范，否则标注本身会漂
   · 样本量要够算出可用的置信区间（第 12 章会讲怎么算）

   按模型预测的置信度分层，每层抽一些：
   · 高置信层抽少一点（错的概率低）
   · 低置信层抽多一点（信息量大）
   → 再按层的占比加权还原总体准确率

   ⭐ 同样的标注预算，估计精度明显更高

   时间轴 ────────────────────────────────────────────►

   T+0     特征分布漂移告警        ← 最快，但可能误报
   T+0     预测分布异常
   T+1天   行为代理指标异动   ⭐
   T+1周   人工抽样准确率下降
   T+3月   真实标签确认        ← 最准，但太晚

   ⭐ 越早的信号越不准，越晚的越准
      → 早期信号用来【触发调查】，不用来【自动回滚】

   风控模型拒绝了一笔贷款
   → 这笔贷款没有发生
   → 【永远不会知道】它会不会违约  💀

   → 你的训练数据里，只有【被通过的】那些人的标签
   → 模型只在"它自己认为安全的"人群上学习

   [ ] 弄清每个标签的实际延迟（很多团队从没量过）⭐
   [ ] 找到 1-2 个行为代理指标，并算出它和真实标签的历史相关性
   [ ] 上线一个简单模型当「基线哨兵」（冠军-挑战者）⭐
   [ ] 建立人工抽样流程，固定频率和标注规范
   [ ] 留一小份随机流量/随机放行，作为无偏数据源 ⭐⭐
   [ ] 画出你的「信号时间轴」，明确哪个信号触发什么动作
   [ ] 真实标签到齐后，回头验证代理指标是否仍然可靠

   某内容平台，真实目标是【次日留存】（要等一天）
   选了【完播率】当代理指标（几秒内就有）
   历史相关性 r = 0.61 —— 看起来是个不错的代理  ✅

   三个月后，模型开始把完播率当优化目标之一：
   → 短视频天然完播率高 → 推荐里短视频占比从 31% 涨到 68%
   → 完播率从 42% 涨到 54%（+12pp）🎉
   → 次日留存却从 38.5% 掉到 37.3%（−1.2pp）💀
   → 重新算相关性：r 从 0.61 掉到 0.08

import pandas as pd, numpy as np

def label_delay_profile(df, t_pred="predict_time", t_label="label_time"):
    """df 里每行是一次预测；label_time 为空 = 标签还没来"""
    arrived = df[t_label].notna()
    d = (df.loc[arrived, t_label] - df.loc[arrived, t_pred]).dt.total_seconds() / 86400

    print(f"标签到达率 {arrived.mean():.1%}")          # ⭐ 这个数常常远小于 100%
    for q in [.5, .8, .9, .95, .99]:
        print(f"  P{int(q*100):<3} {d.quantile(q):6.1f} 天")
    # ⭐ 关键：右侧尾巴有多长决定了你的"评估窗口"该留多久
    print(f"  最长 {d.max():.1f} 天")
    return d

   一个真实场景跑出来的结果（退货预测）：
     标签到达率  93.2%          ← ⚠️ 有 6.8% 永远不会来
     P50    2.1 天
     P80    6.8 天
     P90   11.4 天
     P95   19.7 天              ← ⭐ 尾巴比想象长得多
     P99   58.3 天

   ⭐ 结论：如果你按"7 天后统计准确率"，
      实际只覆盖了 80% 的样本，而且【漏掉的那 20% 系统性偏向慢退货】
      → 你算出来的准确率是【乐观偏差】的

from scipy.stats import spearmanr

def champion_challenger_gap(p_main, p_simple, base_gap):
    """p_main / p_simple: 同一批请求上两个模型的预测分数"""
    # ⭐ 用【排序相关性】而不是绝对差值——两个模型的分数尺度本来就不同
    rho = spearmanr(p_main, p_simple).statistic
    mean_shift = abs(p_main.mean() - p_simple.mean())
    alerts = []
    if rho < base_gap["rho"] - 0.15:                 # ⭐ 和历史基线比，不是和 1.0 比
        alerts.append(f"两模型排序相关性 {base_gap['rho']:.2f}→{rho:.2f}")
    if mean_shift > base_gap["shift"] * 2:
        alerts.append(f"两模型均值差扩大到 {mean_shift:.3f}")
    return alerts

def stratified_accuracy(labels, preds, strata, strata_pop_share):
    """strata: 每条抽样样本所属的层；strata_pop_share: 各层在总体中的占比"""
    acc, se2 = 0.0, 0.0
    for s, w in strata_pop_share.items():
        m = strata == s
        if m.sum() < 5:                               # ⭐ 层内样本太少，估计不可信
            print(f"⚠️ 层 {s} 只有 {m.sum()} 条")
        a = (labels[m] == preds[m]).mean()
        acc += w * a
        se2 += (w ** 2) * a * (1 - a) / max(m.sum(), 1)   # ⭐ 方差也要按权重合成
    return acc, se2 ** 0.5                            # 返回 (加权准确率, 标准误)