🏠 总目录📚 本教程 06 · 数据漂移与概念漂移 ← →

模型上线之后 / 06

输入分布没明显变化,误差为什么仍会升高?

先用概率区分数据漂移与概念漂移,再看检测信号和处置边界。

能说明分布告警能支持什么判断、还缺什么证据。

核对 PSI 的局限

📑 本页目录(点开跳转)

06 · 数据漂移与概念漂移

⏱ 38 分钟(参考,可分次读) | ⭐ 先看哪里变了,再决定是否要修模型


🎯 一句话

漂移是在问“数据或规律变了吗”,不是直接宣布“模型坏了,马上重训”。

漂移告警是线索,不是根因分类器 排查先核对管道和监控口径,再比较输入分布,并在标签到达后核对分组效果及校准。输入分布变或不变都不能独自确定概念漂移或标签漂移;应结合假设和验证选择处置。 漂移告警是线索先找证据,再选处置1 · 先核对管道与口径缺失、单位、版本、采样变了吗?突变也可能来自真实业务变化2 · 比较输入分布 P(X)变化:提示进一步分组排查未变化:仍不能排除效果退化3 · 等真实标签核对效果分组看误差、排序与校准标签延迟与抽样偏差要注明4 · 有证据后验证候选处置修管道 / 校准 / 重训等用独立验证与灰度检验效果“输入变了”不等于某个单一根因。仅靠置信度或 PSI,不能确认概念漂移,也不能决定只需校准。
这是一张取证顺序图,不是根因分类器。输入分布、真实标签和校准各提供不同证据;漂移类型的条件假设要另行检验。 单独打开图解

先看输入,再等真实标签核对效果,最后决定修管道、调策略、校准还是重训。任何一种漂移,都不能单独决定解决方案。


📐 一、用概率写清楚区别

x 是模型看到的输入,y 是事后知道的真实结果。联合分布可以写成 $P(x,y)=P(y|x)P(x)$:既要知道“来了什么样的样本”,也要知道“这样的样本会得到什么结果”。

名称 改变与假设 怎么理解
输入分布漂移(data drift) P(x) 变;仅看输入不能确认其他部分 来的人或数据组成变了
协变量偏移(covariate shift) P(x) 变,另假设 P(y∣x) 不变 来的人变了,但同样条件下的规律仍相同
概念漂移(本章口径) P(y∣x) 变;P(x) 可以变,也可以不变 同样条件下,结果的规律变了
标签偏移(label/prior shift) P(y) 变,另假设 P(x∣y) 不变 各类的比例变了,但类内输入分布仍相同

这些不是互斥的三个盒子。 标签偏移通常也会改变 P(x) 和 P(y∣x);只是正样本比例上升,还不足以确认它满足标签偏移的假设。不同资料对“概念漂移”的用词也可能更宽。

标签偏移的条件可核对 Lipton 等的原论文。

同一个信贷模型的三种教学假设:

场景 额外假设是什么 先做什么
渠道换了,客户从 35 岁白领变成 22 岁学生 假设给定完整特征后的违约规律没变,才称协变量偏移 检查新人群覆盖、分组误差及标签;效果仍达标时不必立即重训
经济环境改变,同样收入、年龄等条件下违约率上升 条件分布 P(y∣x) 改变 核对新标签、缺失的环境因素,比较新窗口训练或其他调整
坏账率由 2% 变成 5% 只有各类别内部的输入分布仍稳定,才满足标签偏移 检验假设,再考虑先验修正、校准、阈值或重训

“风控策略放松”还会改变谁被观察到,不能直接当作纯标签偏移的证明。

校准和阈值也不是一回事。 校准调整概率含义;阈值决定在哪个概率开始采取行动。调阈值不会自动把概率校准好,也没有“标签漂移总是最省力”的保证。


🔍 二、怎么检测数据漂移

方法 1:逐特征统计检验

先挑一个特征,对比参考期与当前期的样本。参考期不一定永远是训练集,也可以是经过确认的稳定生产窗口;比较口径要记录下来。

特征类型 常用方法 使用边界
连续数值 KS 两样本检验 不要求正态;样本相关、重复值和大量同时检验会影响解读
分桶数值 PSI(群体稳定性指数) 衡量桶占比差异,本身不是显著性概率
类别 卡方检验或类别 PSI 对齐类别,处理新类别、稀有类别及过小期望频数

PSI:看同一组桶里的比例差了多少。

$$\text{PSI}=\sum_i (p_i^{\text{线上}}-p_i^{\text{参考}}) \ln\frac{p_i^{\text{线上}}}{p_i^{\text{参考}}}$$

i 表示桶;两边的 p 都是该桶的占比。相同分布的理论值为 0,但两批有限样本的经验值通常不会恰好为 0。

计算前两步:用参考期确定同一套分桶边界;再把两期数据分别放进这些桶。10 桶只是一个候选,不是定理。

常见 PSI 经验区间,不是通用统计检验
经验区间能怎么用不能推出什么
< 0.1在该经验规则下信号较小不能证明没有漂移或模型仍准确
0.1–0.25作为进一步排查的候选不能直接解释为某个置信水平
> 0.25检查变化及业务影响不能单凭此值自动重训

固定阈值没有统一的样本量保证。相关讨论见 PSI 与样本规模的研究。

下面是一维有限数值的 PSI 函数。需要 NumPy;不处理类别和缺失值。函数会拒绝空数组、非有限值和常量参考列,不把无法计算静默当成“稳定”。

import numpy as np

def psi(base, live, bins=10):
    """同一特征的两批有限数值;参考期分位数分桶,半计数平滑。"""
    base = np.asarray(base, dtype=float)
    live = np.asarray(live, dtype=float)
    if base.ndim != 1 or live.ndim != 1 or not base.size or not live.size:
        raise ValueError("base/live 必须是一维非空数组")
    if not np.isfinite(base).all() or not np.isfinite(live).all():
        raise ValueError("请先单独检查缺失值和无穷值")
    if not isinstance(bins, (int, np.integer)) or bins < 2:
        raise ValueError("bins 必须是至少为 2 的整数")
    if np.unique(base).size < 2:
        raise ValueError("参考列为常量:请单独监控新值及其比例")
    edges = np.unique(np.quantile(base, np.linspace(0, 1, bins + 1)))
    edges[0], edges[-1] = -np.inf, np.inf
    b = np.histogram(base, edges)[0].astype(float)
    l = np.histogram(live, edges)[0].astype(float)
    # ⭐ 两期使用相同边界;给每个桶加半个计数,再归一化,避免 log(0)
    b = (b + 0.5) / (base.size + 0.5 * b.size)
    l = (l + 0.5) / (live.size + 0.5 * l.size)
    return float(np.sum((l - b) * np.log(l / b)))

看这两处写法: 分桶只依赖 base,live 超出旧范围的值也会进入首尾桶;平滑后两边仍分别加到 1。平滑方法和桶数会影响结果,不能与其他实现的数值不加说明地混用。

重复分位点会合并,因此实际桶数可能少于请求值。离散值很少的特征宜按类别比较;只看桶占比,也可能漏掉桶内的变化。

常见坑 为什么 怎么处理
两期各自分位数分桶 每边都近似等比例,但同名桶已经不是同一范围,掩盖变化 固定参考边界,并随基准版本保存
小样本、稀有桶、重复监控 随机波动及多次比较会带来误报 用稳定历史窗口校准,检查缺失、新值、分组样本量和业务代价

方法 2:对抗验证(一次看全部特征)

这里“对抗”不是攻击模型,而是训练一个区分样本来自哪一期的分类器。

  1. 参考期标 0,当前期标 1。
  2. 留出未参与训练的数据,或计算折外预测。
  3. 看这个分类器在未见样本上能否稳定区分两期。
  4. 检查哪些特征与区分有关,再结合管道、业务变更与分组数据排查。

AUC≈0.5 只说明当前检测器没有表现出区分能力。 样本少、模型弱、特征不足或切分不合理,都可能漏检;这不是“无漂移”的证明。

AUC 较高是两期可区分的证据,但需排除数据来源标记、重复实体和评估泄漏。特征重要性提供排查线索,不证明谁是因果上的“元凶”。可对照 Alibi Detect 的分类器漂移检测。

为什么值得一次看多列? 可以构造这样的例子:参考期只有 (0,0)、(1,1),当前期只有 (0,1)、(1,0),四种情况各自在所属时期等频。每一列都一半 0、一半 1,但两列的关系改变了;能学习这个关系的检测器才有机会发现它。

同一工具也用于 Kaggle 23 的训练集与测试集对照。


🕵️ 三、概念漂移:难在哪、怎么发现

只看 x,通常无法识别任意 P(y∣x) 的变化。 如果两期输入分布完全相同,输入检测器无法知道“同样输入的答案换了”。

标签或可信结果信号因此很重要,但也要检查标签成熟度、采样偏差和业务口径。无标签方法可在额外假设下提供预警,不能无条件确认或排除概念漂移。第 7 章继续讨论这条边界。

三种形态

形态 教学例子 观察方式
突变 业务规则在某天改变 看变化时点、分组误差与事件记录
渐变 用户偏好缓慢改变 同时比较近期及较长的稳定基线,避免只看相邻两天
周期或复现 季节、节假日、工作日模式回来 对齐可比周期,判断是否超出预期范围

没有一种形态永远“最危险”。渐变可能没有触发单日阈值,也可能被趋势检测提前发现。30/90 天只是候选窗口,不适合所有标签延迟和季节周期。

一个便宜的检测手段:滑动窗口 AUC

下面是教学假设:每周都使用标签已经成熟、口径一致的样本;不是某个项目的实跑记录。

同一指标相对基线的变化
周AUC怎么读
10.82作为当前比较基线
20.81结合样本量判断差异
30.81不能单凭相同均值宣布稳定
40.79没有不确定性估计,不能断言“正常波动”
50.78继续检查分组与累计趋势
60.76比第 1 周低 0.06,值得调查原因

看哪里:相邻周变化小,不代表相对基线变化小;但 AUC 降低本身不能证明是概念漂移,也可能与样本构成、标签或管道有关。

分类还需看校准和业务指标;回归可看 MAE。重叠滑动窗口彼此相关,不能把它们当成很多份独立证据。


🛠️ 四、发现了漂移,做什么

先查数据可信不可信,再查效果和行动。 下表是排查路线,不是只凭一个告警给漂移“确诊”。

当前证据 优先动作 不要直接推出
单位、编码、缺失或接口突然异常 查管道与变更,隔离坏数据;修复后再验证候选 用受污染数据重训会自动修好问题
P(x) 变,但成熟标签上的效果仍达标 检查新人群覆盖并继续监测;有证据时再比较加权、补样或重训 只要有漂移就必须重训
同类输入的结果规律可能变了 核对标签与业务规则;比较校准、新特征、训练窗口或策略调整 唯一办法是丢掉所有旧数据
满足标签偏移假设,类别先验变化 验证先验修正与校准;按行动代价调整阈值 调阈值就等于概率重新校准

重训不是禁忌,也不是默认答案。确认管道修复、可用标签和验证方案后,可以重训新的候选;不能让未经调查的异常数据自动进入发布链。

训练窗口、频率与发布验收见 第 16 章。


💀 五、教学案例:PSI 全绿,误差仍可能上升

以下 ETA(配送时长)场景是教学构造,不是有来源可查的真实事故。 数字用于说明各条监控能看什么,不能作为事故证据。

假设模型只看到距离、时段、天气、商家历史、骑手密度等特征,却没有看到平台新调整的并单规则:每次最多从 3 单改成 5 单。

再假设两期的输入分布基本不变,但新规则使相同输入下的实际配送时长上移。例如某些样本多了约 4 分钟;这不等于每条样本都恰好多 4 分钟。

观察信号(假设值) 看到什么 不能单独证明什么
47 个特征的 PSI 都 < 0.06 按当前分桶,边际占比变化较小 不是所有联合分布与结果规律都没变
对抗验证 AUC=0.52 当前检测器区分较弱 不证明严格同分布
预测均值 31.2→31.5 分钟 预测的总体均值变化小 不证明预测误差不变;均值也不代表完整分布
成熟标签上的 MAE 6.1→9.8 分钟 平均绝对误差增加 3.7 分钟 不能仅凭 MAE 确认根因就是并单规则
投诉率为原来的 3 倍 体验相关信号恶化 投诉不一定最晚到来,也不等于无偏标签

“预计 30、实际 45 分钟”可作为一条投诉例子,但不能从总体 MAE 或“约多 4 分钟”反推出这条记录一定发生过。

这组对照要留下的结论:输入监控没有报警,不等于结果质量没变。 在纯条件变化、输入分布不变时,只看输入无法识别它;现实中两种变化也可能同时发生。

把业务规则、定价、活动等重大变化记入时间轴,可帮助形成待验证的解释,而不是直接证明因果。见 第 11 章。


🔬 六、对抗验证:函数与使用边界

下面保留 LightGBM 路线,需要 NumPy、pandas、scikit-learn、LightGBM。输入是同名同序的数值特征表;不传真实业务标签,0/1 仅表示来源时期。

这是可调用函数,不是自带业务数据的训练脚本。对存在重复用户、群组或强时间依赖的数据,应另外设计分组/时间留出;这里的随机分层切分只适用于近似独立的样本。

import numpy as np, pandas as pd, lightgbm as lgb
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.metrics import roc_auc_score

def adversarial_validation(train_df, live_df, n=50000, seed=0):
    """返回折外 AUC 和拟合检测器的重要性;都不是因果判据。"""
    if list(train_df.columns) != list(live_df.columns) or not len(train_df.columns):
        raise ValueError("两期必须有相同且同序的特征列")
    if not isinstance(n, int) or n < 5 or min(len(train_df), len(live_df)) < 5:
        raise ValueError("本例 5 折需要每个来源至少 5 个样本")
    a = train_df.sample(min(n, len(train_df)), random_state=seed)
    b = live_df.sample(min(n, len(live_df)), random_state=seed)
    X = pd.concat([a, b], ignore_index=True)
    y = np.r_[np.zeros(len(a)), np.ones(len(b))]
    if not all(pd.api.types.is_numeric_dtype(t) for t in X.dtypes):
        raise ValueError("本例只接受已对齐的数值特征")
    if not np.isfinite(X.to_numpy(dtype=float)).all():
        raise ValueError("请先检查缺失值、无穷值及其来源")

    clf = lgb.LGBMClassifier(n_estimators=200, learning_rate=.05,
                            num_leaves=31, random_state=seed,
                            n_jobs=1, verbose=-1)
    # ⭐ 打乱让两种来源分布在各折中,但不能消除重复实体或时间泄漏
    cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=seed)
    oof = cross_val_predict(clf, X, y, cv=cv, method="predict_proba")[:, 1]
    auc = roc_auc_score(y, oof)

    clf.fit(X, y)
    imp = pd.Series(clf.feature_importances_, index=X.columns) \
            .sort_values(ascending=False)
    return auc, imp

先看折外 AUC,别用训练集得分自评;这里 imp 是 LightGBM 默认的分裂次数重要性。相关特征可能分摊或替代彼此的重要性,不能据此直接定责。

这些 AUC 区间只帮助描述来源区分能力,不是漂移的统一裁决线
AUC 范围示意怎样理解
≤0.55不意味着两期一致;还要检查 AUC 是否明显低于 0.5、检测器能力与样本不确定性
0.55–0.70出现一定区分信号,结合留出或置换检验调查
0.70–0.90当前检测器区分较强,不直接等于业务风险严重
>0.90检查来源标记、ID、时间字段与数据采样,也可能是真实的大幅变化

AUC 低于 0.5 也值得检查方向与切分,不应统统归入“稳定”。若做置换检验,需按相同切分和训练步骤重新拟合;不能只给某个分数贴一个固定显著性标签。

时间字段不是一律删除。 采集时间或自增 ID 若只泄露来源,先排除或单列检查;真实服务使用的小时、星期、账龄等可能正是业务特征,应按检测目的决定。对比“含/不含来源标记”两种版本有助于定位。

⚠️ 漂移检测的六个坑

坑 怎么修
两期各自分桶 保存并复用同一组边界;单列监控缺失与新类别
小样本直接套固定阈值 用匹配样本量和桶数的稳定历史窗口校准误报
检测器读到了来源标记 审查特征用途与切分,不盲删所有时间相关信息
只看输入和预测,不看真实结果 建立成熟标签或可信结果的误差监控
不区分预期周期与额外变化 对齐季节、节假日或可比周期,检查残余差异
告警后直接自动重训发布 先调查,再训练候选,最后独立验证能否上线

📐 PSI 的波动要怎样估计

用稳定时期的数据,估计你的 PSI 会怎样波动

样本规模不同,分别校准误报,不能共用一个固定阈值
每期样本量该怎么验证,而不是背一个 PSI 区间
500从稳定期重复抽取同规模样本,观察稀有桶与零计数影响
2,000固定分桶、平滑与抽样方案,再比较波动分布
10,000误差通常更容易估计,但不能自动获得 0.1/0.25 阈值保证
100,000大样本也要区分统计可检测与业务重要;注意重复监控

PSI 没有“经典阈值默认每格上万条”的普遍前提。两期样本量、桶数、分布和平滑都影响随机波动。

可操作的起点:选一段有理由认为稳定的数据,按真实线上窗口的大小重复抽样;每次使用同一套基准与算法,记录无漂移时的 PSI 分布,再结合漏报和误报的成本设告警规则。

时间相关或群组相关的数据不能随意打散成独立样本;应保留相关结构。多特征、多渠道反复检测时,也要记录整体告警率,不能只优化单次阈值。


🔗 七、和站内其他章的关系

相关的地方 和这一章的关系
第 1 章 训练后还要检查输入、标签、效果和服务
第 5 章 漂移监控是数据层监控的一部分
Kaggle 23 同一工具用于训练集与测试集对照
数学原理 08 训练与测试分布不同时,原评估条件需要重新核对

✅ 检查点

  1. 输入漂移、协变量偏移、概念漂移和标签偏移的条件分别是什么?
  2. 信贷的三个例子还需要哪些假设?
  3. 校准、阈值和重训有什么区别?哪一种总是最省力?
  4. PSI 的 0.1/0.25 能否解释为显著性标准?分桶和小样本有哪些坑?
  5. 对抗验证怎么做?为什么可能发现单列检测漏掉的变化?
  6. 只看输入,能否无条件识别概念漂移?
  7. 突变、渐变、周期变化分别要怎样观察?
  8. 为什么告警后不能直接用异常数据重训发布?
  9. ETA 教学例子的几个信号各看到了什么?
  10. 业务变更时间轴能帮助什么,又不能证明什么?
  11. AUC 很高时怎么检查时间字段?接近或低于 0.5 呢?
  12. 哪两种操作会漏掉真实误差或把数据故障固化?
  13. 如何为自己的样本规模确定 PSI 告警规则?
👀 答案
  1. 输入漂移只说 P(x) 变;协变量偏移另假设 P(y∣x) 不变;概念漂移说 P(y∣x) 变;标签偏移另要求 P(x∣y) 不变。
  2. 渠道例子要验证条件规律;环境例子要核对同条件下结果;坏账率变化不能单独确认标签偏移。
  3. 校准改概率含义,阈值改行动,重训改模型。没有永远最省力或总能成功的一个。
  4. 不是。统一分桶并保存边界,核对缺失、样本量、平滑和重复监控的误报。
  5. 来源标 0/1,训练检测器,用留出或折外预测评估;有能力的模型可识别多列之间关系的变化。
  6. 不能。输入分布相同而结果规律改变时,只看输入无法识别;额外假设下的预警不等于无条件确诊。
  7. 突变对照事件,渐变看趋势和基线,周期变化对齐可比周期;没有固定最危险的一类。
  8. 先排查管道、标签和采样;异常原因不明时,重训可能学习错误数据。候选仍需独立发布验证。
  9. PSI 看桶占比,对抗 AUC 看当前检测器的来源区分,预测均值看输出均值;MAE 使用真实结果,投诉提供另一种体验信号。
  10. 帮助形成待验证的原因和时间对应;事件先后不是因果证明。
  11. 检查来源泄漏与真实变化,不盲删所有时间字段;接近 0.5 可能漏检,明显低于 0.5 还需查方向、切分与随机性。
  12. 只看输入而不核对成熟标签,可能漏掉条件变化;告警即重训发布,可能把管道故障固化。
  13. 用稳定历史、相同窗口大小与分桶方法估计波动,再考虑相关性、多重监控和业务代价;没有通用最低样本数。

本节回顾

⚡ 走神救援

下一节 👉 07-没有标签怎么发现退化.md ⭐

打卡记录保存在你的浏览器里,首页能看到总进度