🏠 总目录📚 本教程 16 · 重训练 ← →

模型上线之后 / 16

发现退化以后,下一步一定是重训练吗?

先排除不该重训的问题,再确定触发、窗口、验证和自动流水线闸门。

能为一次重训写出进入条件与禁止放量的条件。

核对五道闸门

📑 本页目录(点开跳转)

16 · 重训练

⏱ 46 分钟 | ⭐ 什么时候训、用什么数据训


🎯 一句话

重训是一个待验证的改进方案,不是发现异常后的自动答案。

本章分开回答:什么时候启动检查、用哪些数据训练、怎样证明新模型值得上线。先看三项决策和五道闸门;代码与事故算例可以按需继续。


🚨 一、先问一句:这次真的该重训吗

先排查数据是否可信,再判断模型是否需要改变。 以下情况可能同时出现,不是互斥的“四种漂移”。

观察到什么 先做什么 重训的边界
管道、单位或特征生成出了错 隔离错误数据,修复并追溯污染范围 不能直接拿仍有问题的数据自动重训;修复或重建数据后再评估
输入分布变化 看哪些人群变了、当前效果是否受影响 分布变了不等于模型一定变差,重训也不一定改善
输入与答案的关系变化 收集可靠的新反馈,比较候选更新方案 新数据覆盖、标签延迟及训练窗口都会影响效果
类别比例变化 核对标签口径及条件分布是否稳定 满足标签漂移假设时可考虑先验修正或校准,不能仅凭比例变化确定方案

为什么要先检查数据?错误可能进入新模型并在源故障修复后继续产生影响。它不一定是“永久损伤”,但恢复可能需要回滚、重建数据和重训。

数据异常检测可以帮助发现问题,不是自动确认根因或自动批准重训。见第 6 章与 TensorFlow Data Validation 的 schema、skew 和 drift 检查说明。


⏰ 二、什么时候触发重训

触发训练与批准发布要分开。 收到信号后,先检查数据和收益预期,不应直接替换线上模型。

触发方式 能提供什么 还缺什么
定时 固定的检查与候选训练节奏 不证明这次重训有收益
性能触发 直接观察任务指标退化 标签可能延迟,指标有抽样波动
漂移触发 没有标签也可看到部分输入变化 PSI 等统计量不能证明任务效果变差
数据量触发 提醒已有一批新样本可用 数量之外还需质量、覆盖与标签成熟度

定时检查加异常调查是一种可选起点,不是所有业务的统一最佳方案。快变环境与稳定环境的成本权衡不同;只等性能跌破阈值也可能反应太晚。

频率怎么定

用历史回放比较候选周期,不用“越线时间除以二”代替验证。

  1. 选多个历史训练截止点,按当时可获得的数据和标签训练模型。
  2. 冻结模型,逐个未来时间段评估,查看整体和关键人群。
  3. 模拟不同重训周期,计入训练、标签等待、验证和发布耗时。
  4. 比较质量、风险与资源成本;留出没有参与选周期的较晚时段复核。

下面的函数展示第 2 步。输入需要整数周编号 week、二元标签 y、特征列,以及只在传入训练集上拟合的 model_fn。每个评估周需同时有两类样本。

from sklearn.metrics import roc_auc_score
import pandas as pd

def decay_curve(df, train_end_week, model_fn, feats, horizons=(1, 2, 4, 8, 12)):
    """冻结一个在 train_end_week 之前训好的模型,逐个检查上线后第 k 周的效果
    df 需要有 week 列;model_fn(训练集) 返回一个已 fit 的模型"""
    m = model_fn(df[df.week <= train_end_week])          # ⭐ 训完就冻住,之后不再更新
    rows = []
    for k in horizons:
        seg = df[df.week == train_end_week + k]
        if seg.empty or seg.y.nunique() < 2:
            raise ValueError(f"第 {k} 周不足以计算二分类 AUC")
        auc = roc_auc_score(seg.y, m.predict_proba(seg[feats])[:, 1])
        rows.append({"上线后第几周": k, "样本数": len(seg), "AUC": round(auc, 4)})
    return pd.DataFrame(rows)

读输出时看“单周”。 第 8 周只使用该周样本,不把第 1–8 周混合成累计 AUC。累计窗口会掩盖最近的退化;AUC 本身也不是各周 AUC 的简单平均。

原来的数字保留为假设性结果示例,不是这段函数自带的实跑数据:

上线后第几周 假设 AUC
1 0.8410
2 0.8395
4 0.8352
8 0.8218
12 0.8079

第 1 到第 8 周相差 0.0192。如果容忍下降 0.015,第 8 周已经越线;但仅靠这些点不能确定第 6 周越线,更不能直接推出每 3 周重训最佳。

多个起点能暴露季节性和偶然事件,不要求曲线形状完全一致才可用。还要报告样本量、误差范围与标签成熟时间。关于模型新鲜度的工程检查,见 Google Rules of ML,第 8 条。


📅 三、用多长的数据训(训练窗口)

短窗口减少过时数据,却可能丢掉少见人群和季节性;长窗口增加样本,也可能混入过时规律。

策略 做法 需要验证的代价
固定窗口 只用最近 N 天 样本是否足够、是否覆盖完整周期
全量累积 保留所有可用历史 旧数据是否仍相关,是否有历史污染
加权衰减 旧样本仍用,但权重逐渐减小 权重实现、有效样本量与长期知识是否受损

下面仍是接入业务训练代码的骨架,需要已有的 df、model、X、y。days_ago 应非负,half_life 应为正;权重是一维数组,并与训练样本顺序一致。

# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法

def time_decay_weight(days_ago, half_life=30):
    """指数衰减:半衰期 30 天 → 30 天前的样本权重是今天的一半"""
    return 0.5 ** (days_ago / half_life)

sample_weight = time_decay_weight(df["days_ago"].values, half_life=30)
model.fit(X, y, sample_weight=sample_weight)     # 先确认所用估计器接受 sample_weight

可观察的结果: 半衰期 30 天时,今天、30 天前、60 天前的权重分别为 1、0.5、0.25。

半衰期不等于重训周期。 前者控制旧样本的影响,后者控制多久更新模型。可以用同一套时间回放选候选值,但不能由“6 周退化”直接推出“半衰期 3–4 周”。

⚠️ 一个反直觉的发现

旧数据有时拖累模型,但不是“老数据一定有害”。

假设同一未来评估集上,最近三个月训练的 AUC 为 0.81、全两年训练为 0.78。这说明在这次设置里短窗口更好;原因还可能涉及样本权重、数据质量或分布变化,不能只凭两项分数证明概念漂移。

下面比较候选窗口。先把 df 截到固定验证结束日;model_fn(tr) 必须只使用传入的训练行拟合模型和预处理。不能把用于选窗口的数据再当作最终独立测试。

import pandas as pd
from sklearn.metrics import roc_auc_score
def tune_window(df, valid_start, model_fn, feats,
                windows=(30, 60, 90, 180, 365, 10**9)):
    """按时间比较候选训练窗口;df 需预先截到同一验证结束日。"""
    va = df[df.day >= valid_start]
    if va.empty or va.y.nunique() < 2:
        raise ValueError("验证集不足以计算二分类 AUC")
    rows = []
    for w in windows:
        tr = df[(df.day < valid_start) & (df.day >= valid_start - w)]
        if tr.empty or tr.y.nunique() < 2:
            raise ValueError(f"窗口 {w} 天的训练集不足")
        m = model_fn(tr)
        rows.append({"窗口(天)": w, "训练样本": len(tr),
                     "AUC": round(roc_auc_score(va.y, m.predict_proba(va[feats])[:, 1]), 4)})
    return pd.DataFrame(rows)

原教学数值对照(假设结果,不是代码内置数据):

窗口 训练样本 假设 AUC
30 天 62,000 0.7902
60 天 124,000 0.8071
90 天 186,000 0.8118
180 天 371,000 0.8043
365 天 742,000 0.7961
全量 1,510,000 0.7834

这个例子中 90 天最好;其他数据可能随窗口增大而改善,或没有明显差别。不要期待 AUC 必须“先涨后跌”。

换多个 valid_start 做滚动验证,比较平均表现、波动和关键人群,而不只数谁拿第一。面向未来预测的本章任务按时间切分;其他独立同分布任务并非一律禁止随机切分。见 scikit-learn 时间序列验证说明。


🔬 四、训出来的怎么验证

重训不是“跑通就上”,它和首次上线一样需要验证与回退安排。

第 3 条是排查入口,不是故障诊断。 重要性变化可能来自坏数据、相关特征替代、训练随机性或有效的新规律。应结合数据检查和重复实验判断,不能仅凭排名变化下结论。

🚧 一定要有的兜底:模型回退基线

不只保存模型权重,还要保存能运行它的依赖。


🔁 五、自动重训流水线:五道闸门

这五道检查组织了一个可用的教学流程,不是通过它们就不会出事的保证:

  1. 数据质量: 核对来源、schema、单位、时间范围、标签、缺失与分布。
  2. 训练健康: 排查 NaN、异常损失和耗时;收敛本身不证明学对了。
  3. 效果对比: 在相同评估集比较现役与候选模型,包含关键人群及不确定性。
  4. 影子与一致性: 使用真实请求验证特征、预测、延迟与资源;不能让两边共享同一个错误就算通过。
  5. 灰度与回退: 预先确定流量、观察时长、业务阈值和停止规则,通过后才扩大。

闸 1 的一个局部骨架: 下面只检查数值特征的行数、缺失与 PSI,不能作为生产完整放行条件。依赖第 6 章的 psi(base, live),基准在前。

def gate_data_quality(new, ref, feats, psi_max=0.25, row_drop_max=0.2):
    """教学骨架:行数、缺失率与边际分布检查,不是完整放行标准。"""
    issues = []
    if len(new) < len(ref) * (1 - row_drop_max):
        issues.append(f"行数骤降:{len(new)} vs 基准 {len(ref)}")
    for f in feats:
        miss = new[f].isna().mean()
        if miss > ref[f].isna().mean() + 0.05:
            issues.append(f"{f} 缺失率异常:{miss:.1%}")
        p = psi(ref[f], new[f])                       # 第 6 章接口:基准在前
        if p > psi_max:
            issues.append(f"{f} 分布突变:PSI={p:.2f}")   # 分布告警还需调查原因
    return (len(issues) == 0), issues

这段不能保证识别“天变成小时”。 PSI 只比较分桶后的边际分布,阈值受样本、分桶与场景影响;小比例污染可能被稀释。0.25、20% 和 5 个百分点在此只是示例阈值。

接入前还要处理空批次、全缺失、重复分位点、非数值列和异常返回值。单位与枚举等语义最好有显式约束;按小时、来源和关键人群检查,不只比较全窗口。

💀 一次自动重训,把 26 小时的脏数据变成三周的损失

教学假设案例,非已核实的真实事故。 以下时间和指标用于演示“总体指标遮住局部损失”,不是历史事件记录。

  1. 风控模型每周一重训,窗口 90 天。
  2. 假设周六将 device_age_days 从天误改为小时,26 小时后源故障修复。
  3. 若污染记录未纠正或隔离,周一仍可能把它们用于训练。

五道检查为什么可能漏过:

检查 假设看到的现象 缺了什么
数据质量 行数、缺失率正常 单位约束及短时段排查
训练健康 loss 收敛 正确数据与正确目标的验证
效果对比 AUC 0.842 → 0.836 只看整体,并接受下降 0.01
一致性 两条路径结果一致 独立的正确基准,防止共同犯错
灰度 整体拦截率无明显变化 新设备人群的质量和业务反馈

局部结果另看: 假设新设备用户的欺诈召回率从 61% 降到 38%,三周后才被发现。下降是 23 个百分点,约相对下降 38%,不能由整体 AUC 或特征权重直接推导出来。

这也不能证明模型一定“降低了设备年龄的权重”。原因需要回放、消融与数据排查,不能替未做的实验写结论。

26 / (90 × 24) ≈ 1.2% 是时间占比,不是已知样本占比。 只有流量均匀时,两者才近似相同。少量错误可能集中伤害重要群体;随机噪声也不保证一定被平均掉。

三项改进:


🧊 六、几个特殊情况

情况 处理方向
冷启动 检查新标签是否足以支持更新;频繁训练不等于频繁发布
强季节性 保留相关周期或加入季节特征,比较近期与历史同期数据;不只允许去年同期
反馈闭环 记录哪些样本被策略筛选,评估选择偏差和反馈缺失
增量与全量 在相同未来评估集上比较;选法取决于数据、算法与恢复要求

反馈闭环不能靠一句“掺入随机流量”解决。 在经过风险评估、权限允许的情况下,受控探索可提供新反馈;还可能需要记录选择概率、人工复核或其他校正方法。不得为了收集标签随意放行风险请求。

见推荐算法 02、第 7 章与第 14 章的拒绝推断。

增量训练 vs 全量重训,摊开说:

比较项 增量训练 从头重训
工作量 在已有状态上更新,可减少重复计算 重新拟合所选训练数据
新旧规律 受更新顺序、遗忘与回放策略影响 受训练窗口和权重影响
错误风险 可能延续错误状态 也可能重复学习脏数据或错误目标
复现 保存初始状态、优化器、数据顺序和更新记录 保存数据、代码、环境与随机状态
回滚 保存兼容检查点并演练 保存兼容版本并演练

可以定期从头训练一个对照,但周期与计算成本要纳入预算。两者差距扩大是排查线索,不能单独证明增量“跑偏”;差异也可能来自窗口、随机性或对新规律的响应。

这里的“全量重训”指从头拟合,不等于必须使用所有历史数据。


⚠️ 七、一张坑表

坑 风险 修正方向
用未修复的数据自动重训 源故障影响继续进入模型 隔离、重建数据,再验证
只看整体指标 少数重要人群退化被遮住 分群、样本量与风险阈值
事故数据留在训练集 下轮继续重复错误 数据版本和事故清单
默认全历史必胜 过时数据或污染影响模型 比较训练窗口,不先删光旧数据
未来任务随机切分 时间或标签泄漏、评估目标不匹配 按当时可得信息做时间回放
不与现役模型同集比较 分数差可能来自不同评估样本 同数据、同口径对照
单凭触发信号发布 把漂移告警当成重训有效的证明 调查、训练和发布分开
训练后直接全量替换 缺少真实请求验证与回退机会 影子、灰度与回退
只存最新权重 缺少可运行的回退版本 保存依赖并演练恢复
忽略反馈闭环 自己选出的样本限制了可见反馈 记录选择机制,受控评估偏差

🔗 八、和站内其他章的关系

相关的地方 和这一章的关系
第 6 章 区分异常来源,再决定调查方向
第 3 章 候选模型验证与回退
第 4 章 训练和线上特征核对
第 7 章 标签缺失、反馈闭环与受控探索
ML 基础 05 让数据切分匹配要预测的场景

✅ 检查点

  1. 发现输入分布变化,为什么不能立即断言重训有效?
  2. 四类触发信号是什么?触发与发布有什么区别?
  3. 怎样检查模型新鲜度?本章函数算的是单周还是累计 AUC?
  4. 训练窗口、权重半衰期、重训周期有什么不同?
  5. 短窗口赢过全历史能证明“旧数据有害”吗?
  6. 特征重要性变化为什么只是排查入口?
  7. 五道闸门各查什么?PSI 能保证拦住单位错误吗?
  8. 假设案例中的 1.2% 是什么比例?如何避免遗漏局部损失?
  9. 增量与从头重训怎样比较?反馈闭环有哪些风险?
👀 答案
  1. 分布变化不等于任务效果变差;要排查管道、覆盖、标签和真实质量。仍有错误的数据不能直接用于自动重训。
  2. 定时、性能、漂移、数据量都能触发检查或候选训练。发布还需要验证收益、质量、风险与回退能力。
  3. 冻结历史模型,在多个未来时段和多个起点回放,并比较候选周期。函数已按第 k 周单独取样;不能从累计指标直接推断某周越线或周期减半。
  4. 窗口选哪些样本,半衰期决定旧样本权重,周期决定何时更新;三者需要分别比较,不能互相直接换算。
  5. 不能。它只说明该次数据与设置下短窗口更好,需要检查污染、覆盖与不确定性,并在其他时间段复核。
  6. 变化可能来自坏数据、相关特征替代、训练随机性或有效的新规律,必须结合证据定位。
  7. 数据、训练健康、同集效果、影子一致性、灰度回退。PSI 依赖分桶且可能稀释局部异常,不能替代单位约束、时间分段和分群检查。
  8. 26 小时占 90 天约 1.2%,不必然等于样本比例。记录事故数据,检查关键人群并采用独立正确基准;案例数字是假设,不是事故实录。
  9. 同集比较质量、成本和恢复要求。两种方法都可能学错,都需可复现记录;反馈偏差要结合选择机制处理,不是无条件随机放行。

本节回顾

⚡ 走神救援

回来时从这三点接上

下一节 👉 17-版本回溯与可复现.md

打卡记录保存在你的浏览器里,首页能看到总进度