📑 本页目录(点开跳转)
16 · 重训练
⏱ 46 分钟 | ⭐ 什么时候训、用什么数据训
🎯 一句话
重训是一个待验证的改进方案,不是发现异常后的自动答案。
本章分开回答:什么时候启动检查、用哪些数据训练、怎样证明新模型值得上线。先看三项决策和五道闸门;代码与事故算例可以按需继续。
🚨 一、先问一句:这次真的该重训吗
先排查数据是否可信,再判断模型是否需要改变。 以下情况可能同时出现,不是互斥的“四种漂移”。
| 观察到什么 | 先做什么 | 重训的边界 |
|---|---|---|
| 管道、单位或特征生成出了错 | 隔离错误数据,修复并追溯污染范围 | 不能直接拿仍有问题的数据自动重训;修复或重建数据后再评估 |
| 输入分布变化 | 看哪些人群变了、当前效果是否受影响 | 分布变了不等于模型一定变差,重训也不一定改善 |
| 输入与答案的关系变化 | 收集可靠的新反馈,比较候选更新方案 | 新数据覆盖、标签延迟及训练窗口都会影响效果 |
| 类别比例变化 | 核对标签口径及条件分布是否稳定 | 满足标签漂移假设时可考虑先验修正或校准,不能仅凭比例变化确定方案 |
为什么要先检查数据?错误可能进入新模型并在源故障修复后继续产生影响。它不一定是“永久损伤”,但恢复可能需要回滚、重建数据和重训。
数据异常检测可以帮助发现问题,不是自动确认根因或自动批准重训。见第 6 章与 TensorFlow Data Validation 的 schema、skew 和 drift 检查说明。
⏰ 二、什么时候触发重训
触发训练与批准发布要分开。 收到信号后,先检查数据和收益预期,不应直接替换线上模型。
| 触发方式 | 能提供什么 | 还缺什么 |
|---|---|---|
| 定时 | 固定的检查与候选训练节奏 | 不证明这次重训有收益 |
| 性能触发 | 直接观察任务指标退化 | 标签可能延迟,指标有抽样波动 |
| 漂移触发 | 没有标签也可看到部分输入变化 | PSI 等统计量不能证明任务效果变差 |
| 数据量触发 | 提醒已有一批新样本可用 | 数量之外还需质量、覆盖与标签成熟度 |
定时检查加异常调查是一种可选起点,不是所有业务的统一最佳方案。快变环境与稳定环境的成本权衡不同;只等性能跌破阈值也可能反应太晚。
频率怎么定
用历史回放比较候选周期,不用“越线时间除以二”代替验证。
- 选多个历史训练截止点,按当时可获得的数据和标签训练模型。
- 冻结模型,逐个未来时间段评估,查看整体和关键人群。
- 模拟不同重训周期,计入训练、标签等待、验证和发布耗时。
- 比较质量、风险与资源成本;留出没有参与选周期的较晚时段复核。
下面的函数展示第 2 步。输入需要整数周编号 week、二元标签 y、特征列,以及只在传入训练集上拟合的 model_fn。每个评估周需同时有两类样本。
from sklearn.metrics import roc_auc_score
import pandas as pd
def decay_curve(df, train_end_week, model_fn, feats, horizons=(1, 2, 4, 8, 12)):
"""冻结一个在 train_end_week 之前训好的模型,逐个检查上线后第 k 周的效果
df 需要有 week 列;model_fn(训练集) 返回一个已 fit 的模型"""
m = model_fn(df[df.week <= train_end_week]) # ⭐ 训完就冻住,之后不再更新
rows = []
for k in horizons:
seg = df[df.week == train_end_week + k]
if seg.empty or seg.y.nunique() < 2:
raise ValueError(f"第 {k} 周不足以计算二分类 AUC")
auc = roc_auc_score(seg.y, m.predict_proba(seg[feats])[:, 1])
rows.append({"上线后第几周": k, "样本数": len(seg), "AUC": round(auc, 4)})
return pd.DataFrame(rows)
读输出时看“单周”。 第 8 周只使用该周样本,不把第 1–8 周混合成累计 AUC。累计窗口会掩盖最近的退化;AUC 本身也不是各周 AUC 的简单平均。
原来的数字保留为假设性结果示例,不是这段函数自带的实跑数据:
| 上线后第几周 | 假设 AUC |
|---|---|
| 1 | 0.8410 |
| 2 | 0.8395 |
| 4 | 0.8352 |
| 8 | 0.8218 |
| 12 | 0.8079 |
第 1 到第 8 周相差 0.0192。如果容忍下降 0.015,第 8 周已经越线;但仅靠这些点不能确定第 6 周越线,更不能直接推出每 3 周重训最佳。
多个起点能暴露季节性和偶然事件,不要求曲线形状完全一致才可用。还要报告样本量、误差范围与标签成熟时间。关于模型新鲜度的工程检查,见 Google Rules of ML,第 8 条。
📅 三、用多长的数据训(训练窗口)
短窗口减少过时数据,却可能丢掉少见人群和季节性;长窗口增加样本,也可能混入过时规律。
| 策略 | 做法 | 需要验证的代价 |
|---|---|---|
| 固定窗口 | 只用最近 N 天 | 样本是否足够、是否覆盖完整周期 |
| 全量累积 | 保留所有可用历史 | 旧数据是否仍相关,是否有历史污染 |
| 加权衰减 | 旧样本仍用,但权重逐渐减小 | 权重实现、有效样本量与长期知识是否受损 |
下面仍是接入业务训练代码的骨架,需要已有的 df、model、X、y。days_ago 应非负,half_life 应为正;权重是一维数组,并与训练样本顺序一致。
# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法
def time_decay_weight(days_ago, half_life=30):
"""指数衰减:半衰期 30 天 → 30 天前的样本权重是今天的一半"""
return 0.5 ** (days_ago / half_life)
sample_weight = time_decay_weight(df["days_ago"].values, half_life=30)
model.fit(X, y, sample_weight=sample_weight) # 先确认所用估计器接受 sample_weight
可观察的结果: 半衰期 30 天时,今天、30 天前、60 天前的权重分别为 1、0.5、0.25。
半衰期不等于重训周期。 前者控制旧样本的影响,后者控制多久更新模型。可以用同一套时间回放选候选值,但不能由“6 周退化”直接推出“半衰期 3–4 周”。
⚠️ 一个反直觉的发现
旧数据有时拖累模型,但不是“老数据一定有害”。
假设同一未来评估集上,最近三个月训练的 AUC 为 0.81、全两年训练为 0.78。这说明在这次设置里短窗口更好;原因还可能涉及样本权重、数据质量或分布变化,不能只凭两项分数证明概念漂移。
下面比较候选窗口。先把 df 截到固定验证结束日;model_fn(tr) 必须只使用传入的训练行拟合模型和预处理。不能把用于选窗口的数据再当作最终独立测试。
import pandas as pd
from sklearn.metrics import roc_auc_score
def tune_window(df, valid_start, model_fn, feats,
windows=(30, 60, 90, 180, 365, 10**9)):
"""按时间比较候选训练窗口;df 需预先截到同一验证结束日。"""
va = df[df.day >= valid_start]
if va.empty or va.y.nunique() < 2:
raise ValueError("验证集不足以计算二分类 AUC")
rows = []
for w in windows:
tr = df[(df.day < valid_start) & (df.day >= valid_start - w)]
if tr.empty or tr.y.nunique() < 2:
raise ValueError(f"窗口 {w} 天的训练集不足")
m = model_fn(tr)
rows.append({"窗口(天)": w, "训练样本": len(tr),
"AUC": round(roc_auc_score(va.y, m.predict_proba(va[feats])[:, 1]), 4)})
return pd.DataFrame(rows)
原教学数值对照(假设结果,不是代码内置数据):
| 窗口 | 训练样本 | 假设 AUC |
|---|---|---|
| 30 天 | 62,000 | 0.7902 |
| 60 天 | 124,000 | 0.8071 |
| 90 天 | 186,000 | 0.8118 |
| 180 天 | 371,000 | 0.8043 |
| 365 天 | 742,000 | 0.7961 |
| 全量 | 1,510,000 | 0.7834 |
这个例子中 90 天最好;其他数据可能随窗口增大而改善,或没有明显差别。不要期待 AUC 必须“先涨后跌”。
换多个 valid_start 做滚动验证,比较平均表现、波动和关键人群,而不只数谁拿第一。面向未来预测的本章任务按时间切分;其他独立同分布任务并非一律禁止随机切分。见 scikit-learn 时间序列验证说明。
🔬 四、训出来的怎么验证
重训不是“跑通就上”,它和首次上线一样需要验证与回退安排。
- 本章评估重训后的未来表现,用时间上靠后的数据验证,并检查时间泄漏。
- 新模型与线上现役模型使用同一评估集,同时查看关键人群。
- 记录排名与幅度变化,检查数据质量、特征相关性及模型差异。
- 比较新旧分数的分布,定位变化最大的人群与业务影响。
- 先影子验证,再按已定规则灰度;回退路径准备好后才扩大流量,见第 3 章。
第 3 条是排查入口,不是故障诊断。 重要性变化可能来自坏数据、相关特征替代、训练随机性或有效的新规律。应结合数据检查和重复实验判断,不能仅凭排名变化下结论。
🚧 一定要有的兜底:模型回退基线
不只保存模型权重,还要保存能运行它的依赖。
- 保留线上现役版本、经过验证的回退版本,以及它们的数据、代码与特征版本。
- “至少 3 个版本”可以是团队起始规则,但保留范围应覆盖故障发现延迟、审计要求和可恢复窗口。
- 发布前演练回退;旧模型若已不兼容当前特征,文件还在也不代表能立即切回。
🔁 五、自动重训流水线:五道闸门
这五道检查组织了一个可用的教学流程,不是通过它们就不会出事的保证:
- 数据质量: 核对来源、schema、单位、时间范围、标签、缺失与分布。
- 训练健康: 排查 NaN、异常损失和耗时;收敛本身不证明学对了。
- 效果对比: 在相同评估集比较现役与候选模型,包含关键人群及不确定性。
- 影子与一致性: 使用真实请求验证特征、预测、延迟与资源;不能让两边共享同一个错误就算通过。
- 灰度与回退: 预先确定流量、观察时长、业务阈值和停止规则,通过后才扩大。
闸 1 的一个局部骨架: 下面只检查数值特征的行数、缺失与 PSI,不能作为生产完整放行条件。依赖第 6 章的 psi(base, live),基准在前。
def gate_data_quality(new, ref, feats, psi_max=0.25, row_drop_max=0.2):
"""教学骨架:行数、缺失率与边际分布检查,不是完整放行标准。"""
issues = []
if len(new) < len(ref) * (1 - row_drop_max):
issues.append(f"行数骤降:{len(new)} vs 基准 {len(ref)}")
for f in feats:
miss = new[f].isna().mean()
if miss > ref[f].isna().mean() + 0.05:
issues.append(f"{f} 缺失率异常:{miss:.1%}")
p = psi(ref[f], new[f]) # 第 6 章接口:基准在前
if p > psi_max:
issues.append(f"{f} 分布突变:PSI={p:.2f}") # 分布告警还需调查原因
return (len(issues) == 0), issues
这段不能保证识别“天变成小时”。 PSI 只比较分桶后的边际分布,阈值受样本、分桶与场景影响;小比例污染可能被稀释。0.25、20% 和 5 个百分点在此只是示例阈值。
接入前还要处理空批次、全缺失、重复分位点、非数值列和异常返回值。单位与枚举等语义最好有显式约束;按小时、来源和关键人群检查,不只比较全窗口。
💀 一次自动重训,把 26 小时的脏数据变成三周的损失
教学假设案例,非已核实的真实事故。 以下时间和指标用于演示“总体指标遮住局部损失”,不是历史事件记录。
- 风控模型每周一重训,窗口 90 天。
- 假设周六将
device_age_days从天误改为小时,26 小时后源故障修复。 - 若污染记录未纠正或隔离,周一仍可能把它们用于训练。
五道检查为什么可能漏过:
| 检查 | 假设看到的现象 | 缺了什么 |
|---|---|---|
| 数据质量 | 行数、缺失率正常 | 单位约束及短时段排查 |
| 训练健康 | loss 收敛 | 正确数据与正确目标的验证 |
| 效果对比 | AUC 0.842 → 0.836 | 只看整体,并接受下降 0.01 |
| 一致性 | 两条路径结果一致 | 独立的正确基准,防止共同犯错 |
| 灰度 | 整体拦截率无明显变化 | 新设备人群的质量和业务反馈 |
局部结果另看: 假设新设备用户的欺诈召回率从 61% 降到 38%,三周后才被发现。下降是 23 个百分点,约相对下降 38%,不能由整体 AUC 或特征权重直接推导出来。
这也不能证明模型一定“降低了设备年龄的权重”。原因需要回放、消融与数据排查,不能替未做的实验写结论。
26 / (90 × 24) ≈ 1.2% 是时间占比,不是已知样本占比。 只有流量均匀时,两者才近似相同。少量错误可能集中伤害重要群体;随机噪声也不保证一定被平均掉。
三项改进:
- 数据闸门增加单位契约、短时段和分群统计;PSI 只是其中一项。
- 效果闸门增加关键人群、标签成熟度和样本量检查;阈值按风险设定。
- 维护事故数据清单:能重建就重建,不能确认可靠的数据先隔离;不能只修线上而忘掉历史训练数据。
🧊 六、几个特殊情况
| 情况 | 处理方向 |
|---|---|
| 冷启动 | 检查新标签是否足以支持更新;频繁训练不等于频繁发布 |
| 强季节性 | 保留相关周期或加入季节特征,比较近期与历史同期数据;不只允许去年同期 |
| 反馈闭环 | 记录哪些样本被策略筛选,评估选择偏差和反馈缺失 |
| 增量与全量 | 在相同未来评估集上比较;选法取决于数据、算法与恢复要求 |
反馈闭环不能靠一句“掺入随机流量”解决。 在经过风险评估、权限允许的情况下,受控探索可提供新反馈;还可能需要记录选择概率、人工复核或其他校正方法。不得为了收集标签随意放行风险请求。
增量训练 vs 全量重训,摊开说:
| 比较项 | 增量训练 | 从头重训 |
|---|---|---|
| 工作量 | 在已有状态上更新,可减少重复计算 | 重新拟合所选训练数据 |
| 新旧规律 | 受更新顺序、遗忘与回放策略影响 | 受训练窗口和权重影响 |
| 错误风险 | 可能延续错误状态 | 也可能重复学习脏数据或错误目标 |
| 复现 | 保存初始状态、优化器、数据顺序和更新记录 | 保存数据、代码、环境与随机状态 |
| 回滚 | 保存兼容检查点并演练 | 保存兼容版本并演练 |
可以定期从头训练一个对照,但周期与计算成本要纳入预算。两者差距扩大是排查线索,不能单独证明增量“跑偏”;差异也可能来自窗口、随机性或对新规律的响应。
这里的“全量重训”指从头拟合,不等于必须使用所有历史数据。
⚠️ 七、一张坑表
| 坑 | 风险 | 修正方向 |
|---|---|---|
| 用未修复的数据自动重训 | 源故障影响继续进入模型 | 隔离、重建数据,再验证 |
| 只看整体指标 | 少数重要人群退化被遮住 | 分群、样本量与风险阈值 |
| 事故数据留在训练集 | 下轮继续重复错误 | 数据版本和事故清单 |
| 默认全历史必胜 | 过时数据或污染影响模型 | 比较训练窗口,不先删光旧数据 |
| 未来任务随机切分 | 时间或标签泄漏、评估目标不匹配 | 按当时可得信息做时间回放 |
| 不与现役模型同集比较 | 分数差可能来自不同评估样本 | 同数据、同口径对照 |
| 单凭触发信号发布 | 把漂移告警当成重训有效的证明 | 调查、训练和发布分开 |
| 训练后直接全量替换 | 缺少真实请求验证与回退机会 | 影子、灰度与回退 |
| 只存最新权重 | 缺少可运行的回退版本 | 保存依赖并演练恢复 |
| 忽略反馈闭环 | 自己选出的样本限制了可见反馈 | 记录选择机制,受控评估偏差 |
🔗 八、和站内其他章的关系
| 相关的地方 | 和这一章的关系 |
|---|---|
| 第 6 章 | 区分异常来源,再决定调查方向 |
| 第 3 章 | 候选模型验证与回退 |
| 第 4 章 | 训练和线上特征核对 |
| 第 7 章 | 标签缺失、反馈闭环与受控探索 |
| ML 基础 05 | 让数据切分匹配要预测的场景 |
✅ 检查点
- 发现输入分布变化,为什么不能立即断言重训有效?
- 四类触发信号是什么?触发与发布有什么区别?
- 怎样检查模型新鲜度?本章函数算的是单周还是累计 AUC?
- 训练窗口、权重半衰期、重训周期有什么不同?
- 短窗口赢过全历史能证明“旧数据有害”吗?
- 特征重要性变化为什么只是排查入口?
- 五道闸门各查什么?PSI 能保证拦住单位错误吗?
- 假设案例中的 1.2% 是什么比例?如何避免遗漏局部损失?
- 增量与从头重训怎样比较?反馈闭环有哪些风险?
👀 答案
- 分布变化不等于任务效果变差;要排查管道、覆盖、标签和真实质量。仍有错误的数据不能直接用于自动重训。
- 定时、性能、漂移、数据量都能触发检查或候选训练。发布还需要验证收益、质量、风险与回退能力。
- 冻结历史模型,在多个未来时段和多个起点回放,并比较候选周期。函数已按第 k 周单独取样;不能从累计指标直接推断某周越线或周期减半。
- 窗口选哪些样本,半衰期决定旧样本权重,周期决定何时更新;三者需要分别比较,不能互相直接换算。
- 不能。它只说明该次数据与设置下短窗口更好,需要检查污染、覆盖与不确定性,并在其他时间段复核。
- 变化可能来自坏数据、相关特征替代、训练随机性或有效的新规律,必须结合证据定位。
- 数据、训练健康、同集效果、影子一致性、灰度回退。PSI 依赖分桶且可能稀释局部异常,不能替代单位约束、时间分段和分群检查。
- 26 小时占 90 天约 1.2%,不必然等于样本比例。记录事故数据,检查关键人群并采用独立正确基准;案例数字是假设,不是事故实录。
- 同集比较质量、成本和恢复要求。两种方法都可能学错,都需可复现记录;反馈偏差要结合选择机制处理,不是无条件随机放行。
本节回顾
⚡ 走神救援
回来时从这三点接上
- 先查数据和效果:漂移信号不能直接证明该重训。
- 周期、窗口与半衰期分开验证,没有统一的“除以二”公式。
- 新旧模型同集、分群比较;通过真实请求验证并准备回退,才考虑扩大流量。
下一节 👉 17-版本回溯与可复现.md