07 · 没有标签怎么发现退化

⏱ 42 分钟 ｜ ⭐ 最容易被忽略的盲区

🎯 一句话

教科书假设你知道对错，现实里你常常不知道。 退货要等 7 天、欺诈要等 30 天、用户会不会续费要等一年 —— 这段时间里，你靠什么判断模型还活着？

⏳ 一、标签延迟有多常见

🔑 注意欺诈那一行：很多标签永远不会来。 没被发现的欺诈，在你的数据里就是「正常交易」—— 你的标签本身就是有偏的，这是比延迟更深的问题（见第五节）。

🧭 二、没有标签时，能看什么（五种代理信号）

③ 行为侧代理：找一个「早期标签」

核心思路：真实标签来得晚，但和它相关的某个行为来得早。

⚠️ 第 ④ 步不能省：代理和真实标签的关系本身也会漂移。 每次真实标签到齐后，都要重新算一次相关性 —— 否则你会依赖一个已经失效的代理。

④ 一致性检查：让模型互相验证

三种做法，都不需要标签：

⭐ B 特别值得做：一个简单模型作为「基线哨兵」。 它的效果一定不如主模型，但它的稳定性是主模型的参照系。 成本很低（逻辑回归几乎不占资源），价值很高。

⑤ 人工抽样：最准的那把尺子

💡 一个省钱的技巧：分层抽样

🔬 三、把它们组合成一套预警体系

🔑 这条时间轴决定了告警该怎么设计： T+0 的信号 → 通知人去看一眼（因为它可能误报） T+1周 的信号 → 可以触发回滚决策 把早期信号接成自动回滚，会因为频繁误报而被关掉（第 8 章）。

💀 四、一个特别的陷阱：模型自己制造的标签缺失

这叫「拒绝推断」（reject inference）问题，本质上是第 1 章那个反馈闭环的极端形式。

三种常见缓解：

🔗 注意第一条和第 2 章的「留 1% 随机流量」是同一个思想： 主动付出一点代价，换一批没有被模型污染的数据。 在推荐里它对抗幸存者偏差，在风控里它对抗拒绝推断。

📋 五、可以照抄的落地清单

⭐ 第一条最容易被跳过，也最重要： 很多团队根本不知道自己的标签延迟是多少。 量一下（画个标签到达时间的分布图），你会发现它比想象的长， 而且有很长的尾巴。

💀 六、代理指标最危险的失效方式：模型把它优化坏了

前面说"代理和真实标签的关系会漂移"。最狠的一种漂移，是你自己造成的。

⭐ 这是 Goodhart 定律的教科书案例： 一个指标一旦变成优化目标，它就不再是个好指标。 代理之所以能当代理，是因为在原来的策略下它和真实目标相关； 而模型改变了策略本身。

🔑 三条防线： 1. 代理指标只用来"预警"，不用来"优化" —— 一旦它进了损失函数或排序公式，它就死了。 2. 定期重算相关性（至少每月），把 r 本身画成一条曲线监控起来。 3. 留一份不受模型影响的对照：一小份随机流量上，代理和真实指标的关系是干净的。

🔗 第 15 章专门讲代理指标和长期效应，这里是它的入口。

🔨 七、三段可以直接跑的代码

① 先量一下你的标签延迟到底是多少

第五节说"很多团队从没量过"。量它只要几行：

import pandas as pd, numpy as np

def label_delay_profile(df, t_pred="predict_time", t_label="label_time"):
    """df 里每行是一次预测；label_time 为空 = 标签还没来"""
    arrived = df[t_label].notna()
    d = (df.loc[arrived, t_label] - df.loc[arrived, t_pred]).dt.total_seconds() / 86400

    print(f"标签到达率 {arrived.mean():.1%}")          # ⭐ 这个数常常远小于 100%
    for q in [.5, .8, .9, .95, .99]:
        print(f"  P{int(q*100):<3} {d.quantile(q):6.1f} 天")
    # ⭐ 关键：右侧尾巴有多长决定了你的"评估窗口"该留多久
    print(f"  最长 {d.max():.1f} 天")
    return d

② 冠军-挑战者的差异监控

from scipy.stats import spearmanr

def champion_challenger_gap(p_main, p_simple, base_gap):
    """p_main / p_simple: 同一批请求上两个模型的预测分数"""
    # ⭐ 用【排序相关性】而不是绝对差值——两个模型的分数尺度本来就不同
    rho = spearmanr(p_main, p_simple).statistic
    mean_shift = abs(p_main.mean() - p_simple.mean())
    alerts = []
    if rho < base_gap["rho"] - 0.15:                 # ⭐ 和历史基线比，不是和 1.0 比
        alerts.append(f"两模型排序相关性 {base_gap['rho']:.2f}→{rho:.2f}")
    if mean_shift > base_gap["shift"] * 2:
        alerts.append(f"两模型均值差扩大到 {mean_shift:.3f}")
    return alerts

⚠️ 一个必须提前想清楚的问题：差异变大时，是谁坏了？ 单看这一个信号回答不了。但它能把范围从"整个系统"缩小到"这两个模型之一"， 再结合特征漂移（第 6 章）就能定位。 哨兵的价值是缩小搜索空间，不是直接给答案。

③ 分层抽样的权重还原

def stratified_accuracy(labels, preds, strata, strata_pop_share):
    """strata: 每条抽样样本所属的层；strata_pop_share: 各层在总体中的占比"""
    acc, se2 = 0.0, 0.0
    for s, w in strata_pop_share.items():
        m = strata == s
        if m.sum() < 5:                               # ⭐ 层内样本太少，估计不可信
            print(f"⚠️ 层 {s} 只有 {m.sum()} 条")
        a = (labels[m] == preds[m]).mean()
        acc += w * a
        se2 += (w ** 2) * a * (1 - a) / max(m.sum(), 1)   # ⭐ 方差也要按权重合成
    return acc, se2 ** 0.5                            # 返回 (加权准确率, 标准误)

🧭 八、按标签延迟选方案（决策表）

⚠️ 无标签监控的五个坑：

⭐ 第四条特别值得记：哨兵模型的价值来自"它不变"。 一旦你也定期重训它，它就和主模型一起漂走了 —— 参照系没了。

🔗 九、和站内其他章的关系

✅ 检查点

1. 标签延迟为什么是个严重问题？用信贷的例子说明。
2. 欺诈场景的标签有什么比"延迟"更深的问题？
3. 五种代理信号是什么？按什么排序的？
4. 行为代理的正确用法是什么？哪一步不能省？为什么？
5. 「冠军-挑战者」为什么值得做？
6. 人工抽样为什么必须随机抽？分层抽样怎么省钱？
7. 为什么早期信号不该接自动回滚？
8. 什么是拒绝推断？唯一能拿到干净数据的办法是什么？
9. 「完播率」那个事故里发生了什么？它是什么定律的案例？三条防线是什么？
10. 量标签延迟时，为什么要看 P95 而不只是中位数？「按 7 天统计准确率」会有什么偏差？
11. 冠军-挑战者的差异为什么要用排序相关性而不是绝对差值？这个信号能回答"是谁坏了"吗？
12. 标签延迟超过一个月时，主力手段应该是什么？
13. 为什么哨兵模型不能跟着重训？

🛑 可以停在这里

⚡ 走神救援

⭐ 教科书假设你知道对错，现实里常常不知道：退货等两周、违约等几个月、续费等一年。⭐⭐ 残酷算术：标签延迟三个月，意味着你今天发现的问题三个月前就开始了，这期间的决策全是坏的。

⚠️ 欺诈那一侧还更深一层：很多标签永远不会来——没被发现的欺诈在数据里就是「正常交易」，标签本身有偏。

五种代理信号按「离真实指标多近」排：特征漂移 → 预测分布 → ⭐ 行为代理 → 模型间一致性 → 人工抽样。

⭐ 行为代理是找一个来得早、又和最终标签相关的行为（违约看首期还没还上）。⚠️ 用法有个必须做的回头动作：真实标签到齐后要验证代理是否还可靠——那个相关关系本身也会漂。 ⭐ 冠军-挑战者：拿影子流量跑一个简单模型当哨兵——它效果差，但它的稳定性是主模型的参照系，成本极低。 ⚠️ 人工抽样必须随机：只抽不确定的会高估错误率。

⭐ 信号的时间轴决定告警怎么设计：早期信号只触发调查，不接自动回滚——否则会因误报被人关掉。

💀 代理指标最狠的失效方式是你自己造成的：拿完播率当次日留存的代理，模型开始优化它之后，短视频占比翻倍、完播率涨了十几个点，而次日留存反而跌，两者的相关性掉到几乎为零。⭐ 这就是古德哈特定律：一个指标一旦变成优化目标，它就不再是个好指标。三条防线：代理只用来预警、绝不进损失函数；每月重算相关性并把相关系数本身监控起来；留一份随机流量做干净对照。

📏 ⭐ 先量你自己的标签延迟：中位数可能只有两天，而尾部要拖近三周、还有几个百分点永远不来——按「N 天后统计准确率」只覆盖一部分样本，而漏掉的那部分系统性偏慢，算出来的准确率带乐观偏差。

💀 五个坑里最反直觉的一个：哨兵不能跟着重训——⭐ 它的价值恰恰来自它不变。

下一节 👉 08-告警为什么没人看.md