📑 本页目录(点开跳转)
06 · 数据漂移与概念漂移
⏱ 38 分钟(参考,可分次读) | ⭐ 先看哪里变了,再决定是否要修模型
🎯 一句话
漂移是在问“数据或规律变了吗”,不是直接宣布“模型坏了,马上重训”。
先看输入,再等真实标签核对效果,最后决定修管道、调策略、校准还是重训。任何一种漂移,都不能单独决定解决方案。
📐 一、用概率写清楚区别
x 是模型看到的输入,y 是事后知道的真实结果。联合分布可以写成 $P(x,y)=P(y|x)P(x)$:既要知道“来了什么样的样本”,也要知道“这样的样本会得到什么结果”。
| 名称 | 改变与假设 | 怎么理解 |
|---|---|---|
| 输入分布漂移(data drift) | P(x) 变;仅看输入不能确认其他部分 | 来的人或数据组成变了 |
| 协变量偏移(covariate shift) | P(x) 变,另假设 P(y∣x) 不变 | 来的人变了,但同样条件下的规律仍相同 |
| 概念漂移(本章口径) | P(y∣x) 变;P(x) 可以变,也可以不变 | 同样条件下,结果的规律变了 |
| 标签偏移(label/prior shift) | P(y) 变,另假设 P(x∣y) 不变 | 各类的比例变了,但类内输入分布仍相同 |
这些不是互斥的三个盒子。 标签偏移通常也会改变 P(x) 和 P(y∣x);只是正样本比例上升,还不足以确认它满足标签偏移的假设。不同资料对“概念漂移”的用词也可能更宽。
标签偏移的条件可核对 Lipton 等的原论文。
同一个信贷模型的三种教学假设:
| 场景 | 额外假设是什么 | 先做什么 |
|---|---|---|
| 渠道换了,客户从 35 岁白领变成 22 岁学生 | 假设给定完整特征后的违约规律没变,才称协变量偏移 | 检查新人群覆盖、分组误差及标签;效果仍达标时不必立即重训 |
| 经济环境改变,同样收入、年龄等条件下违约率上升 | 条件分布 P(y∣x) 改变 | 核对新标签、缺失的环境因素,比较新窗口训练或其他调整 |
| 坏账率由 2% 变成 5% | 只有各类别内部的输入分布仍稳定,才满足标签偏移 | 检验假设,再考虑先验修正、校准、阈值或重训 |
“风控策略放松”还会改变谁被观察到,不能直接当作纯标签偏移的证明。
校准和阈值也不是一回事。 校准调整概率含义;阈值决定在哪个概率开始采取行动。调阈值不会自动把概率校准好,也没有“标签漂移总是最省力”的保证。
🔍 二、怎么检测数据漂移
方法 1:逐特征统计检验
先挑一个特征,对比参考期与当前期的样本。参考期不一定永远是训练集,也可以是经过确认的稳定生产窗口;比较口径要记录下来。
| 特征类型 | 常用方法 | 使用边界 |
|---|---|---|
| 连续数值 | KS 两样本检验 | 不要求正态;样本相关、重复值和大量同时检验会影响解读 |
| 分桶数值 | PSI(群体稳定性指数) | 衡量桶占比差异,本身不是显著性概率 |
| 类别 | 卡方检验或类别 PSI | 对齐类别,处理新类别、稀有类别及过小期望频数 |
PSI:看同一组桶里的比例差了多少。
$$\text{PSI}=\sum_i (p_i^{\text{线上}}-p_i^{\text{参考}}) \ln\frac{p_i^{\text{线上}}}{p_i^{\text{参考}}}$$
i 表示桶;两边的 p 都是该桶的占比。相同分布的理论值为 0,但两批有限样本的经验值通常不会恰好为 0。
计算前两步:用参考期确定同一套分桶边界;再把两期数据分别放进这些桶。10 桶只是一个候选,不是定理。
| 经验区间 | 能怎么用 | 不能推出什么 |
|---|---|---|
| < 0.1 | 在该经验规则下信号较小 | 不能证明没有漂移或模型仍准确 |
| 0.1–0.25 | 作为进一步排查的候选 | 不能直接解释为某个置信水平 |
| > 0.25 | 检查变化及业务影响 | 不能单凭此值自动重训 |
固定阈值没有统一的样本量保证。相关讨论见 PSI 与样本规模的研究。
下面是一维有限数值的 PSI 函数。需要 NumPy;不处理类别和缺失值。函数会拒绝空数组、非有限值和常量参考列,不把无法计算静默当成“稳定”。
import numpy as np
def psi(base, live, bins=10):
"""同一特征的两批有限数值;参考期分位数分桶,半计数平滑。"""
base = np.asarray(base, dtype=float)
live = np.asarray(live, dtype=float)
if base.ndim != 1 or live.ndim != 1 or not base.size or not live.size:
raise ValueError("base/live 必须是一维非空数组")
if not np.isfinite(base).all() or not np.isfinite(live).all():
raise ValueError("请先单独检查缺失值和无穷值")
if not isinstance(bins, (int, np.integer)) or bins < 2:
raise ValueError("bins 必须是至少为 2 的整数")
if np.unique(base).size < 2:
raise ValueError("参考列为常量:请单独监控新值及其比例")
edges = np.unique(np.quantile(base, np.linspace(0, 1, bins + 1)))
edges[0], edges[-1] = -np.inf, np.inf
b = np.histogram(base, edges)[0].astype(float)
l = np.histogram(live, edges)[0].astype(float)
# ⭐ 两期使用相同边界;给每个桶加半个计数,再归一化,避免 log(0)
b = (b + 0.5) / (base.size + 0.5 * b.size)
l = (l + 0.5) / (live.size + 0.5 * l.size)
return float(np.sum((l - b) * np.log(l / b)))
看这两处写法: 分桶只依赖 base,live 超出旧范围的值也会进入首尾桶;平滑后两边仍分别加到 1。平滑方法和桶数会影响结果,不能与其他实现的数值不加说明地混用。
重复分位点会合并,因此实际桶数可能少于请求值。离散值很少的特征宜按类别比较;只看桶占比,也可能漏掉桶内的变化。
| 常见坑 | 为什么 | 怎么处理 |
|---|---|---|
| 两期各自分位数分桶 | 每边都近似等比例,但同名桶已经不是同一范围,掩盖变化 | 固定参考边界,并随基准版本保存 |
| 小样本、稀有桶、重复监控 | 随机波动及多次比较会带来误报 | 用稳定历史窗口校准,检查缺失、新值、分组样本量和业务代价 |
方法 2:对抗验证(一次看全部特征)
这里“对抗”不是攻击模型,而是训练一个区分样本来自哪一期的分类器。
- 参考期标 0,当前期标 1。
- 留出未参与训练的数据,或计算折外预测。
- 看这个分类器在未见样本上能否稳定区分两期。
- 检查哪些特征与区分有关,再结合管道、业务变更与分组数据排查。
AUC≈0.5 只说明当前检测器没有表现出区分能力。 样本少、模型弱、特征不足或切分不合理,都可能漏检;这不是“无漂移”的证明。
AUC 较高是两期可区分的证据,但需排除数据来源标记、重复实体和评估泄漏。特征重要性提供排查线索,不证明谁是因果上的“元凶”。可对照 Alibi Detect 的分类器漂移检测。
为什么值得一次看多列? 可以构造这样的例子:参考期只有 (0,0)、(1,1),当前期只有 (0,1)、(1,0),四种情况各自在所属时期等频。每一列都一半 0、一半 1,但两列的关系改变了;能学习这个关系的检测器才有机会发现它。
同一工具也用于 Kaggle 23 的训练集与测试集对照。
🕵️ 三、概念漂移:难在哪、怎么发现
只看 x,通常无法识别任意 P(y∣x) 的变化。 如果两期输入分布完全相同,输入检测器无法知道“同样输入的答案换了”。
标签或可信结果信号因此很重要,但也要检查标签成熟度、采样偏差和业务口径。无标签方法可在额外假设下提供预警,不能无条件确认或排除概念漂移。第 7 章继续讨论这条边界。
三种形态
| 形态 | 教学例子 | 观察方式 |
|---|---|---|
| 突变 | 业务规则在某天改变 | 看变化时点、分组误差与事件记录 |
| 渐变 | 用户偏好缓慢改变 | 同时比较近期及较长的稳定基线,避免只看相邻两天 |
| 周期或复现 | 季节、节假日、工作日模式回来 | 对齐可比周期,判断是否超出预期范围 |
没有一种形态永远“最危险”。渐变可能没有触发单日阈值,也可能被趋势检测提前发现。30/90 天只是候选窗口,不适合所有标签延迟和季节周期。
一个便宜的检测手段:滑动窗口 AUC
下面是教学假设:每周都使用标签已经成熟、口径一致的样本;不是某个项目的实跑记录。
| 周 | AUC | 怎么读 |
|---|---|---|
| 1 | 0.82 | 作为当前比较基线 |
| 2 | 0.81 | 结合样本量判断差异 |
| 3 | 0.81 | 不能单凭相同均值宣布稳定 |
| 4 | 0.79 | 没有不确定性估计,不能断言“正常波动” |
| 5 | 0.78 | 继续检查分组与累计趋势 |
| 6 | 0.76 | 比第 1 周低 0.06,值得调查原因 |
看哪里:相邻周变化小,不代表相对基线变化小;但 AUC 降低本身不能证明是概念漂移,也可能与样本构成、标签或管道有关。
分类还需看校准和业务指标;回归可看 MAE。重叠滑动窗口彼此相关,不能把它们当成很多份独立证据。
🛠️ 四、发现了漂移,做什么
先查数据可信不可信,再查效果和行动。 下表是排查路线,不是只凭一个告警给漂移“确诊”。
| 当前证据 | 优先动作 | 不要直接推出 |
|---|---|---|
| 单位、编码、缺失或接口突然异常 | 查管道与变更,隔离坏数据;修复后再验证候选 | 用受污染数据重训会自动修好问题 |
| P(x) 变,但成熟标签上的效果仍达标 | 检查新人群覆盖并继续监测;有证据时再比较加权、补样或重训 | 只要有漂移就必须重训 |
| 同类输入的结果规律可能变了 | 核对标签与业务规则;比较校准、新特征、训练窗口或策略调整 | 唯一办法是丢掉所有旧数据 |
| 满足标签偏移假设,类别先验变化 | 验证先验修正与校准;按行动代价调整阈值 | 调阈值就等于概率重新校准 |
重训不是禁忌,也不是默认答案。确认管道修复、可用标签和验证方案后,可以重训新的候选;不能让未经调查的异常数据自动进入发布链。
训练窗口、频率与发布验收见 第 16 章。
💀 五、教学案例:PSI 全绿,误差仍可能上升
以下 ETA(配送时长)场景是教学构造,不是有来源可查的真实事故。 数字用于说明各条监控能看什么,不能作为事故证据。
假设模型只看到距离、时段、天气、商家历史、骑手密度等特征,却没有看到平台新调整的并单规则:每次最多从 3 单改成 5 单。
再假设两期的输入分布基本不变,但新规则使相同输入下的实际配送时长上移。例如某些样本多了约 4 分钟;这不等于每条样本都恰好多 4 分钟。
| 观察信号(假设值) | 看到什么 | 不能单独证明什么 |
|---|---|---|
| 47 个特征的 PSI 都 < 0.06 | 按当前分桶,边际占比变化较小 | 不是所有联合分布与结果规律都没变 |
| 对抗验证 AUC=0.52 | 当前检测器区分较弱 | 不证明严格同分布 |
| 预测均值 31.2→31.5 分钟 | 预测的总体均值变化小 | 不证明预测误差不变;均值也不代表完整分布 |
| 成熟标签上的 MAE 6.1→9.8 分钟 | 平均绝对误差增加 3.7 分钟 | 不能仅凭 MAE 确认根因就是并单规则 |
| 投诉率为原来的 3 倍 | 体验相关信号恶化 | 投诉不一定最晚到来,也不等于无偏标签 |
“预计 30、实际 45 分钟”可作为一条投诉例子,但不能从总体 MAE 或“约多 4 分钟”反推出这条记录一定发生过。
这组对照要留下的结论:输入监控没有报警,不等于结果质量没变。 在纯条件变化、输入分布不变时,只看输入无法识别它;现实中两种变化也可能同时发生。
把业务规则、定价、活动等重大变化记入时间轴,可帮助形成待验证的解释,而不是直接证明因果。见 第 11 章。
🔬 六、对抗验证:函数与使用边界
下面保留 LightGBM 路线,需要 NumPy、pandas、scikit-learn、LightGBM。输入是同名同序的数值特征表;不传真实业务标签,0/1 仅表示来源时期。
这是可调用函数,不是自带业务数据的训练脚本。对存在重复用户、群组或强时间依赖的数据,应另外设计分组/时间留出;这里的随机分层切分只适用于近似独立的样本。
import numpy as np, pandas as pd, lightgbm as lgb
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.metrics import roc_auc_score
def adversarial_validation(train_df, live_df, n=50000, seed=0):
"""返回折外 AUC 和拟合检测器的重要性;都不是因果判据。"""
if list(train_df.columns) != list(live_df.columns) or not len(train_df.columns):
raise ValueError("两期必须有相同且同序的特征列")
if not isinstance(n, int) or n < 5 or min(len(train_df), len(live_df)) < 5:
raise ValueError("本例 5 折需要每个来源至少 5 个样本")
a = train_df.sample(min(n, len(train_df)), random_state=seed)
b = live_df.sample(min(n, len(live_df)), random_state=seed)
X = pd.concat([a, b], ignore_index=True)
y = np.r_[np.zeros(len(a)), np.ones(len(b))]
if not all(pd.api.types.is_numeric_dtype(t) for t in X.dtypes):
raise ValueError("本例只接受已对齐的数值特征")
if not np.isfinite(X.to_numpy(dtype=float)).all():
raise ValueError("请先检查缺失值、无穷值及其来源")
clf = lgb.LGBMClassifier(n_estimators=200, learning_rate=.05,
num_leaves=31, random_state=seed,
n_jobs=1, verbose=-1)
# ⭐ 打乱让两种来源分布在各折中,但不能消除重复实体或时间泄漏
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=seed)
oof = cross_val_predict(clf, X, y, cv=cv, method="predict_proba")[:, 1]
auc = roc_auc_score(y, oof)
clf.fit(X, y)
imp = pd.Series(clf.feature_importances_, index=X.columns) \
.sort_values(ascending=False)
return auc, imp
先看折外 AUC,别用训练集得分自评;这里 imp 是 LightGBM 默认的分裂次数重要性。相关特征可能分摊或替代彼此的重要性,不能据此直接定责。
| AUC 范围示意 | 怎样理解 |
|---|---|
| ≤0.55 | 不意味着两期一致;还要检查 AUC 是否明显低于 0.5、检测器能力与样本不确定性 |
| 0.55–0.70 | 出现一定区分信号,结合留出或置换检验调查 |
| 0.70–0.90 | 当前检测器区分较强,不直接等于业务风险严重 |
| >0.90 | 检查来源标记、ID、时间字段与数据采样,也可能是真实的大幅变化 |
AUC 低于 0.5 也值得检查方向与切分,不应统统归入“稳定”。若做置换检验,需按相同切分和训练步骤重新拟合;不能只给某个分数贴一个固定显著性标签。
时间字段不是一律删除。 采集时间或自增 ID 若只泄露来源,先排除或单列检查;真实服务使用的小时、星期、账龄等可能正是业务特征,应按检测目的决定。对比“含/不含来源标记”两种版本有助于定位。
⚠️ 漂移检测的六个坑
| 坑 | 怎么修 |
|---|---|
| 两期各自分桶 | 保存并复用同一组边界;单列监控缺失与新类别 |
| 小样本直接套固定阈值 | 用匹配样本量和桶数的稳定历史窗口校准误报 |
| 检测器读到了来源标记 | 审查特征用途与切分,不盲删所有时间相关信息 |
| 只看输入和预测,不看真实结果 | 建立成熟标签或可信结果的误差监控 |
| 不区分预期周期与额外变化 | 对齐季节、节假日或可比周期,检查残余差异 |
| 告警后直接自动重训发布 | 先调查,再训练候选,最后独立验证能否上线 |
📐 PSI 的波动要怎样估计
用稳定时期的数据,估计你的 PSI 会怎样波动
| 每期样本量 | 该怎么验证,而不是背一个 PSI 区间 |
|---|---|
| 500 | 从稳定期重复抽取同规模样本,观察稀有桶与零计数影响 |
| 2,000 | 固定分桶、平滑与抽样方案,再比较波动分布 |
| 10,000 | 误差通常更容易估计,但不能自动获得 0.1/0.25 阈值保证 |
| 100,000 | 大样本也要区分统计可检测与业务重要;注意重复监控 |
PSI 没有“经典阈值默认每格上万条”的普遍前提。两期样本量、桶数、分布和平滑都影响随机波动。
可操作的起点:选一段有理由认为稳定的数据,按真实线上窗口的大小重复抽样;每次使用同一套基准与算法,记录无漂移时的 PSI 分布,再结合漏报和误报的成本设告警规则。
时间相关或群组相关的数据不能随意打散成独立样本;应保留相关结构。多特征、多渠道反复检测时,也要记录整体告警率,不能只优化单次阈值。
🔗 七、和站内其他章的关系
| 相关的地方 | 和这一章的关系 |
|---|---|
| 第 1 章 | 训练后还要检查输入、标签、效果和服务 |
| 第 5 章 | 漂移监控是数据层监控的一部分 |
| Kaggle 23 | 同一工具用于训练集与测试集对照 |
| 数学原理 08 | 训练与测试分布不同时,原评估条件需要重新核对 |
✅ 检查点
- 输入漂移、协变量偏移、概念漂移和标签偏移的条件分别是什么?
- 信贷的三个例子还需要哪些假设?
- 校准、阈值和重训有什么区别?哪一种总是最省力?
- PSI 的 0.1/0.25 能否解释为显著性标准?分桶和小样本有哪些坑?
- 对抗验证怎么做?为什么可能发现单列检测漏掉的变化?
- 只看输入,能否无条件识别概念漂移?
- 突变、渐变、周期变化分别要怎样观察?
- 为什么告警后不能直接用异常数据重训发布?
- ETA 教学例子的几个信号各看到了什么?
- 业务变更时间轴能帮助什么,又不能证明什么?
- AUC 很高时怎么检查时间字段?接近或低于 0.5 呢?
- 哪两种操作会漏掉真实误差或把数据故障固化?
- 如何为自己的样本规模确定 PSI 告警规则?
👀 答案
- 输入漂移只说 P(x) 变;协变量偏移另假设 P(y∣x) 不变;概念漂移说 P(y∣x) 变;标签偏移另要求 P(x∣y) 不变。
- 渠道例子要验证条件规律;环境例子要核对同条件下结果;坏账率变化不能单独确认标签偏移。
- 校准改概率含义,阈值改行动,重训改模型。没有永远最省力或总能成功的一个。
- 不是。统一分桶并保存边界,核对缺失、样本量、平滑和重复监控的误报。
- 来源标 0/1,训练检测器,用留出或折外预测评估;有能力的模型可识别多列之间关系的变化。
- 不能。输入分布相同而结果规律改变时,只看输入无法识别;额外假设下的预警不等于无条件确诊。
- 突变对照事件,渐变看趋势和基线,周期变化对齐可比周期;没有固定最危险的一类。
- 先排查管道、标签和采样;异常原因不明时,重训可能学习错误数据。候选仍需独立发布验证。
- PSI 看桶占比,对抗 AUC 看当前检测器的来源区分,预测均值看输出均值;MAE 使用真实结果,投诉提供另一种体验信号。
- 帮助形成待验证的原因和时间对应;事件先后不是因果证明。
- 检查来源泄漏与真实变化,不盲删所有时间字段;接近 0.5 可能漏检,明显低于 0.5 还需查方向、切分与随机性。
- 只看输入而不核对成熟标签,可能漏掉条件变化;告警即重训发布,可能把管道故障固化。
- 用稳定历史、相同窗口大小与分桶方法估计波动,再考虑相关性、多重监控和业务代价;没有通用最低样本数。
本节回顾
⚡ 走神救援
- 先问什么变了:输入、条件规律、类别比例;不同偏移假设不能混用。
- PSI 和对抗验证是排查工具,不是“模型没问题”的证明。
- 输入没报警,也要等成熟标签核对真实效果。
- 告警之后先查原因,再比较候选方案;训练成功不等于可以发布。
下一节 👉 07-没有标签怎么发现退化.md ⭐