🏠 总目录📚 本教程 17 · 版本、回溯与可复现 ← →

模型上线之后 / 17

要重放一次历史预测,光保存模型够吗?

数据、特征、代码、环境、模型与部署配置共同决定能还原到哪一层。

能列出一次预测的最小记录,区分三种复现目标,并用一条版本血缘整体回滚。

区分复现层次

📑 本页目录(点开跳转)

17 · 版本、回溯与可复现

案例说明:本页未附具体事故的可核验原始记录;其中的复盘情景与数字用于教学推演,不能当作某团队真实事故或通用效果统计。

⏱ 60 分钟 | 🎁 无聊但会在关键时刻救你


🎯 一句话

三个月后有人问「上个季度那个模型为什么给这个用户拒了」—— 你能答上来吗? 这一章讲的就是:让每一个历史决策都可以被还原。


🎬 一、什么时候你会需要它

场景 需要还原什么
用户申诉 / 客诉 当时那条预测的输入和依据
监管或审计问询 模型的训练数据、评估结果、决策逻辑
线上事故复盘 出问题时跑的是哪个版本、配置是什么
实验结果被质疑 当时的分流、数据、指标口径
「上个月还好好的」 两个时间点的差异到底在哪 ⭐

⭐ 最后一行是日常最高频的: 没有版本记录时,「上个月还好好的」这句话根本无法验证 —— 你连上个月跑的是什么都不知道。


📦 二、一次预测要能还原,需要记什么

先只解决「服务能不能按同一套行为启动」:一个运行时发布包要把服务同时加载的五类东西绑在一起。后面第六节再把它扩展为端到端可复现血缘,回答这套运行时文件从哪份数据、代码和评估证据产生。

五类运行时发布包

  1. 模型文件 (权重 + 结构)
  2. 特征逻辑 (线上执行的特征定义与代码)
  3. 预处理产物 (编码器、归一化参数、分桶边界)⭐
  4. 部署配置 (阈值、截断、降级开关)
  5. 依赖环境 (库版本,尤其是 sklearn/xgboost 大版本)

💀 只记模型文件是最常见的错误:它只是五类中的第一类。回滚时如果另外四类仍是新版,服务行为就不会真正回到旧版。

线上每条预测要落的日志:

逐项核对

  • 请求 ID、时间戳、用户/实体 ID

  • 模型版本号 ⭐

  • 输入特征值(至少抽样落全量)⭐

  • 预测输出(分数 + 最终决策)

  • 走了哪条链路(正常 / 降级 / 兜底)⭐

  • SHAP 值(抽样,第 10 章)

⭐ 「走了哪条链路」这一条极其有用: 用户投诉「推荐很差」时,第一件事就是看他当时是不是走了降级链路 —— 这能在 10 秒内排除掉一大类问题。


🔁 三、可复现的三个层次

结果对照

层次 1:能【重新加载】当时的运行时发布包,对同样输入给出同样输出
要存:五类运行时内容 + 当时输入 ✅ 最低要求;只存模型文件不够
层次 2:能【重新训练】出一个等价的模型
还要存:训练数据快照、代码版本、随机种子、超参 ⭐
层次 3:能【解释】当时为什么这么决策
还要存:特征值、SHAP、当时的阈值配置

💡 大多数团队做到层次 1,需要的是层次 3。 层次 2 成本最高(要存数据快照),但监管场景常常强制要求。

⚠️ 关于「重新训练能得到同样的模型」

对照

完全复现比想象的难,因为随机性来源很多:

· 随机种子(数据打乱、初始化、dropout)

· 多线程/分布式的【浮点累加顺序】⭐ —— 这条最难消除

· GPU 的非确定性算子

· 数据源本身在变(同一个 SQL 明天跑结果就不一样)⭐

⭐ 务实的目标不是「逐位相同」,而是:

【效果等价】——重训出的模型在同一验证集上指标差异 < 容忍阈值

💡 数据快照是最有效的一招:把训练数据固化成一份不可变的文件(带哈希), 比试图让 SQL 可复现容易得多。


💀 四、一次基础镜像升级,悄悄多拒了 1.4 万人

这个案例说明了一件反直觉的事:模型文件能加载 ≠ 模型行为不变。

信息关系

模型:信贷审批,2024 年训练,joblib 存的 sklearn Pipeline
2025 年 3 月:平台统一升级基础镜像(安全补丁)
sklearn 1.2→1.4,numpy 也跟着升了大版本

升级当天发生了什么:

现象 实际情况
模型加载 ✅ 成功
预测 ✅ 不报错,分数看起来也正常
日志 ⚠️ 打了一条 InconsistentVersionWarning —— 级别是 WARNING,淹没在每秒几千条日志里
整体通过率 从 31.2% → 30.4%,在日常波动范围内 ⭐

真正变了的东西:

信息关系

Pipeline 里的编码器,对「训练时没见过的类别」的处理方式变了
(原配置没有显式指定,吃了默认值的变化)
旧行为:抛异常→上游兜底走人工
新行为:静默编码成【全 0 行】 💀
而恰好那段时间上了两个新渠道
新渠道的 channel 值是训练时没见过的
这批人的渠道特征全部变成全 0→分数系统性偏低→被拒

代价与发现方式:

对照

持续 3 个月,多拒约 1.4 万人

事后回捞:其中约 63% 按老模型是该通过的优质客户

⭐ 最后是怎么被发现的?

一张申诉工单里客户写了一句:

「我从另一个渠道申请就通过了」

⭐ 三条缺失,每一条都很便宜:

缺失 补法
没锁死依赖版本 运行时发布包里存 requirements.txt,加载时校验,不一致直接拒绝启动
只有 WARNING,没有硬阻断 和模型正确性有关的检查,一律 raise,不要 warn ⭐
通过率没有分渠道监控 新渠道上线时,渠道维度自动进监控(第 8 章)

🥇 最有效的一招:黄金样本(golden set)

操作步骤

发布时:把 200 条有代表性的样本 + 它们【当时的预测值】
一起冻进运行时发布包
每次启动 / 每次升级依赖 / 每次改代码:
重跑这 200 条,逐条比对
任何一条对不上,【拒绝启动】而不是告警 ⭐
import json, numpy as np, pandas as pd

def freeze_golden(model, X_sample, out_path):
    """发布时跑一次:把样本和当时的预测冻起来"""
    p = model.predict_proba(X_sample)[:, 1]
    json.dump({"X": X_sample.to_dict("records"), "p": p.tolist()},
              open(out_path, "w", encoding="utf-8"), ensure_ascii=False)

def verify_golden(model, path, atol=1e-6):
    """启动时跑一次:对不上就【拒绝启动】"""
    g = json.load(open(path, encoding="utf-8"))
    p = model.predict_proba(pd.DataFrame(g["X"]))[:, 1]
    diff = np.abs(p - np.array(g["p"]))
    if (diff > atol).any():                       # ⭐ raise,不是 log.warning
        raise RuntimeError(
            f"黄金样本对不上:{(diff > atol).sum()}/{len(diff)} 条,最大偏差 {diff.max():.6f}")

⭐ 这 20 行代码能挡住的东西比任何线上监控都多: 依赖升级、预处理产物丢失、特征顺序错位、模型文件损坏、加载了错版本 —— 全都在「启动那一刻」就暴露,而不是三个月后由客户告诉你。

💡 选样本的原则:不要随机取 200 条。要覆盖边界 —— 各个分数段各取一些、每个类别特征的每个取值至少一条、 再加上历史上出过问题的那些样本。


🗂️ 五、一个最小可用的版本方案

不需要上 MLflow 之类的平台也能做:

对照

models/

2026-08-02_v17/

model.pkl 模型

preprocessor.pkl 编码器/归一化参数 ⭐

config.json 阈值等配置

feature_schema.json 特征名 + 顺序 + 类型 ⭐

requirements.txt 环境

train_meta.json 数据范围、代码 commit、超参、随机种子

eval_report.json 验证集指标、分人群指标

MODEL_CARD.md 一页说明(第 19 章)

import json, hashlib, subprocess, joblib
from datetime import date

def save_release(model, preproc, config, schema, X_val, y_val, out_dir):
    """把一次发布的全部要素打包,版本号统一"""
    import os; os.makedirs(out_dir, exist_ok=True)
    joblib.dump(model, f"{out_dir}/model.pkl")
    joblib.dump(preproc, f"{out_dir}/preprocessor.pkl")      # ⭐ 别忘了它
    json.dump(config, open(f"{out_dir}/config.json", "w"), ensure_ascii=False)
    json.dump(schema, open(f"{out_dir}/feature_schema.json", "w"), ensure_ascii=False)
    meta = {
        "date": str(date.today()),
        "git_commit": subprocess.run(["git", "rev-parse", "HEAD"],
                                     capture_output=True, text=True).stdout.strip(),
        "n_train": len(X_val), "seed": 42,
        "data_hash": hashlib.md5(X_val.to_csv().encode()).hexdigest()[:12],  # ⭐
    }
    json.dump(meta, open(f"{out_dir}/train_meta.json", "w"), ensure_ascii=False)

⭐ feature_schema.json 是这里最容易被跳过、也最该有的一个文件: 它把特征名、顺序、类型固化下来, 推理时按它组装特征,就从根本上杜绝了第 4 章那个「顺序错位」的 bug。

它该怎么用(关键在最后那个 extra 检查):

import numpy as np
def assemble(raw: dict, schema: dict) -> np.ndarray:
    """⭐ 按 schema 组装特征,而不是按调用方传进来的顺序"""
    missing = [c for c in schema["columns"] if c not in raw]
    if missing:
        raise KeyError(f"缺特征:{missing}")
    extra = [c for c in raw if c not in schema["columns"]]
    if extra:
        raise KeyError(f"多了不认识的特征:{extra}")     # ⭐ 这一行最容易被省
    row = []
    for c, t in zip(schema["columns"], schema["dtypes"]):
        v = raw[c]
        if t == "float" and not isinstance(v, (int, float)):
            raise TypeError(f"{c} 类型不对:{type(v).__name__}")
        row.append(v)
    return np.asarray(row, dtype=float).reshape(1, -1)

⚠️ 「多了不认识的特征」为什么必须报错: 静默忽略多余字段,看起来很宽容,实际上是第 4 章那类 bug 的温床 —— 上游把 user_age 改名成 age,你的代码会同时「缺 user_age」和「多 age」; 只查缺失的话,user_age 会走缺失值填充,一切照常运行,只是全错了。


🧬 六、MLOps 血缘:把一次发布连成可追溯的链

前面的五类运行时发布包能让服务按一套兼容文件启动,但还缺两个问题:这些文件究竟由哪份数据、哪次训练运行和哪套代码配置产生,又凭哪份评估证据获准部署?如果只看文件名,model_v17.pkl 很可能配到了 feature_v18、遗漏了当时的超参数和随机种子,还带上昨天临时改过的阈值。

MLOps 血缘(lineage)就是把「哪份输入经过哪套代码和环境,产生哪个模型,并由哪份配置部署」连成一条可查询的关系。它不是另一套与五类包竞争的清单,而是从运行时向训练、评估和审批两端展开。

递进关系只有一条:五类运行时发布包是“线上要一起加载什么”,七项端到端可复现血缘是“这些内容从哪里来、当时怎样训练、凭什么被批准、最终怎样部署”。

一条可部署血缘,至少绑住这七项

要素 版本记录回答什么 例子
数据快照 / 版本 模型看过哪一批原始与标签数据 data@2026-05-01#8f2c
特征定义版本 字段、窗口、实体键和变换逻辑是什么 features@f42
训练运行与代码配置 是哪次运行;代码修订、超参数和随机种子各是什么 run@1842 绑定 git@7c31e9a、hparams@hp17、seed=42
依赖镜像 库、系统依赖和运行时是什么 image@sha256:9ab…,不是会漂移的 :latest
模型产物 实际部署的是哪份权重和预处理器 risk-model@17#31de
评估报告 它在何种数据、指标和分群检查下被批准 eval@17,包含总体与关键人群结果
部署配置 阈值、路由、资源、降级和流量比例是什么 deploy-config@c17

七项包含并扩展五类

模型文件 + 预处理产物 → 归入「模型产物」;若分开保存,各自保留哈希和地址

特征逻辑 → 拆成「特征定义版本」+「训练运行与代码配置」中的代码修订

训练运行与代码配置 → 除代码修订外,还正式绑定 run ID、超参数和随机种子,才能重放训练

依赖环境 → 固化为「依赖镜像」

阈值、截断、降级开关 → 归入「部署配置」

七项再新增「数据快照 / 版本」和「评估报告」,补上训练来源与批准证据

一条紧凑血缘

数据 data@2026-05-01+特征 features@f42
训练运行 run@1842:git@7c31e9a + hparams@hp17 + seed=42+镜像 sha256:9ab…
训练运行 run@1842→模型 risk@17 + 报告 eval@17
模型 risk@17+部署配置 c17→生产发布 release@17

如果系统还依赖向量索引、规则包或词表,也要把它们加入运行时发布包,并在端到端血缘中记录版本和哈希。七项是本章的最小通用骨架,不是拒绝记录领域特有产物的上限;凡是会改变线上答案的东西都要追踪。

模型注册表管理状态,不替你存下所有大文件

生命周期示例

candidate(候选)→ 证据与审核通过approved(已批准)
approved(已批准)→ 实际接收流量deployed(已部署)
deployed(已部署)→ 停止新部署并保留追溯retired(已退役)
状态 它表示什么 不能误解成什么
candidate 训练完成,等待质量、风险和复现材料检查 不是「训练跑完就能上线」
approved 指定评估与审批已通过,记录批准人、时间和证据 不是已经接收生产流量
deployed 某环境正在用它;还要记录环境、流量与发布时间 不是自动证明线上效果好
retired 不再用于新部署,但按保留策略继续支持审计和历史回放 不是立刻删除模型与证据

⭐ 这些状态是本课程采用的工作流,不是所有平台必须使用的固定名称。真正的约束是:每次状态变化都要留下操作者、时间、理由、评估证据和目标环境,不能只改一个标签。

Registry 只存元数据、状态、关系和产物地址;Artifact Store 保存模型权重、报告、快照等较大的不可变文件。两者必须互相指向,但不能把「注册表里有一行记录」误当成「产物一定存在、哈希一定正确、权限一定安全」。容器镜像还可能由独立的镜像仓库保存。

🔗 官方资料可对照:MLflow Model Registry说明版本、别名、标签与血缘元数据;Artifact Store说明大文件产物与参数、指标、标签等元数据的存储分工。这里的四态工作流是课程约束,不等同于某个工具的内置状态名。

回滚示例:模型、特征、索引、配置必须一起移动

假设推荐发布 release@18 上线后,点击率和延迟正常,但投诉集中在新用户。当前线上组合是:

整体回滚

release@18:model@18 + feature@f43 + index@2026-05-12 + config@c18

回到 release@17:model@17 + feature@f42 + index@2026-05-05 + config@c17

如果只把模型换成 model@17,旧模型可能读取它没训练过的 feature@f43,从新索引拿到不同候选,再用新阈值截断;文件名虽然回去了,线上行为并没有回到 17。

操作步骤

  1. 停止继续放量,锁定事故时间段和当前 release@18。
  2. 从注册表选择最后一个已批准且演练过的 release@17,不要手工拼四个「看起来差不多」的版本。
  3. 由发布清单一次切换 模型、特征、索引、配置,并保留 18 的证据用于复盘。
  4. 核对服务暴露的四个版本号,跑黄金样本,再看错误率、延迟、预测分布和受影响人群是否恢复。
  5. 只有验证通过才恢复流量;已写出的错误数据或副作用另做补偿,回滚不会自动擦除它们。

⭐ 发布清单是血缘的落地点:部署系统读取一个不可变的 release@17 清单,而不是分别读取四个 latest。这样「回滚」才是恢复一套行为,不是只换一份权重。


🕰️ 七、日志留多久、怎么落才不贵

数据 建议保留 理由
预测日志(含特征) ≥ 标签延迟 × 3 ⭐ 否则标签到了却没有对应的特征可用
模型文件 ≥ 1 年 / 或按合规要求 回溯与审计
训练数据快照 按合规要求 通常最贵
聚合指标 尽量长期 便宜,且是趋势分析的基础

⭐ 第一行是个容易踩的坑: 标签延迟 3 个月,但日志只留 1 个月 —— 等标签到了,你已经没有当时的特征数据来做分析和重训了。 🔗 第 7 章量标签延迟,这里用它定日志保留期。

💰 「全量落特征」贵到什么程度

很多团队不落全量特征日志,理由是"太贵了"。先把账算出来再说:

算一算

一个 4000 QPS 的服务:

轻量版(版本号 + 分数 + 决策 + 链路 + 耗时)≈ 每条 200 字节

→ 4000 × 200B × 86400 ≈ 每天 69 GB ✅ 完全可以 100% 落

全量特征(假设 300 个特征)≈ 每条 4 KB

→ 100% 落 ≈ 每天 1.4 TB 💀 确实贵

→ 分层采样 3% 后 ≈ 每天 41 GB ⭐ 完全可以接受

⭐ 分层采样才是标准做法,不是"全落"或"不落"的二选一:

样本 落什么 比例
所有样本 轻量版(版本号、分数、决策、走了哪条链路、耗时) 100% ⭐
异常样本(拒绝、高分、走了降级、命中规则) 全量特征 100% ⭐
普通样本 全量特征 1%–5% 随机
抽样样本 SHAP 值(第 10 章) 0.1%–1%

💀 一个真实会犯的错:只对「异常样本」落全量特征。 结果做不了任何对比分析 —— 你有一堆"坏样本", 却没有同期的"好样本"当参照(第 11 章第 ⑤ 步要的就是这个对比)。 ⭐ 普通样本那 1%–5% 的随机采样,比异常样本的全量更重要。


⚠️ 八、一张坑表

坑 后果 怎么修
运行时发布包里只有模型文件 💀 回滚时特征逻辑还是新的,比不回滚还糟 五类运行时内容一起版本化,并由七项血缘追到数据和评估证据
依赖版本没锁死 ⭐ 就是那个多拒 1.4 万人的案例 存 requirements.txt,加载时校验并拒绝启动
正确性检查只打 warning 淹没在日志里,三个月没人看见 和正确性有关的,一律 raise ⭐
没有黄金样本自检 依赖升级、编码器丢失全都要靠线上指标去发现 20 行代码,启动时跑,对不上就不启动 ⭐
schema 只查缺失、不查多余 字段改名时会「静默走填充」,全错却不报错 missing 和 extra 都要 raise
不记「走了哪条链路」 投诉排查时无从下手 每条日志一个字段,10 秒排除一大类问题
日志保留期短于标签延迟 标签到了,特征没了,重训和分析都做不了 ≥ 标签延迟 × 3 ⭐
只对异常样本落全量特征 有坏样本没好样本,做不了对比 普通样本也要按 1%–5% 随机落 ⭐
追求逐位复现 花几个月,做不到,还耽误正事 目标改成效果等价(指标差异在容忍阈值内)
数据靠 SQL 复现 同一个 SQL 明天跑结果就不一样 数据快照 + 哈希

🔗 九、和站内其他章的关系

相关的地方 和这一章的关系
第 3 章整体回滚 五类运行时发布包与不可变发布清单是整体回滚的前提
第 4 章特征顺序 feature_schema.json 是解法
第 7 章标签延迟 决定日志保留期
第 11 章排查 靠这些日志才查得动
Kaggle 25实验记录 竞赛版的同一件事
数据这一关 17 · 数据版本与血缘 ⭐ 那一章深入数据快照、版本与上游血缘;本章把它作为七项端到端血缘的第一项,再与特征、训练运行与代码配置、镜像、模型、评估和部署配置连起来。训练运行还必须绑定 run ID、超参数和随机种子。两章是细节与总链路的关系,不是各管一半

✅ 检查点

  1. 日常最高频需要回溯的场景是哪个?没有版本记录会怎样?
  2. 五类运行时发布包包含什么?它与七项端到端可复现血缘是什么递进关系?只记模型文件会出什么问题?
  3. 线上日志里「走了哪条链路」为什么极其有用?
  4. 可复现的三个层次是什么?大多数团队在哪层、需要的是哪层?为什么「重训出逐位相同的模型」很难?务实的目标是什么?
  5. 那个基础镜像升级的案例里,为什么升级当天什么都没暴露?代价是多少?最后是怎么被发现的?
  6. 黄金样本是什么?它能挡住哪些问题?选样本时有什么讲究?对不上时该 warn 还是 raise?
  7. feature_schema.json 解决了什么问题?为什么「多了不认识的特征」也必须报错?
  8. 预测日志该留多久?依据是什么?
  9. 全量特征日志的成本大概是什么量级?分层采样怎么分?为什么说「普通样本的随机采样比异常样本的全量更重要」?
  10. 一条端到端可复现的 MLOps 血缘至少要绑定哪七项?它怎样包含并扩展五类运行时发布包?
  11. candidate、approved、deployed、retired 四个状态各表示什么?模型注册表和 Artifact Store 的职责有什么不同?
  12. 为什么回滚时模型、特征、索引、配置必须一起移动?切回发布清单后还要验证什么?
👀 答案
  1. 「上个月还好好的」。没有版本记录时这句话根本无法验证——你连上个月跑的是什么都不知道。
  2. 五类运行时发布包是模型文件、特征逻辑、预处理产物(编码器/归一化参数/分桶边界)、部署配置、依赖环境,回答「服务启动时要一起加载什么」。七项端到端血缘在此基础上把特征逻辑拆成特征定义版本与训练运行中的代码修订,把环境固化为镜像、把模型与预处理器归入模型产物,再补上数据快照和评估报告;训练运行还绑定 run ID、超参数和随机种子,回答「从哪里来、如何重训、凭什么批准、怎样部署」。只记模型文件会导致回滚时特征逻辑仍是新的,旧模型拿到没见过的特征。
  3. 用户投诉「推荐很差」时,第一件事就是看他当时是不是走了降级链路——10 秒内排除掉一大类问题。
  4. ①能重新加载当时的五类运行时内容,对同样输入给出同样输出 ②能重新训练出等价模型 ③能解释当时为什么这么决策。大多数团队做到层次 1,需要的是层次 3;层次 1 也不能只留模型文件,还要保留特征逻辑、预处理产物、部署配置、依赖环境和当时输入。层次 2 成本最高但监管场景常强制要求。逐位复现难是因为随机性来源多:随机种子、多线程/分布式的浮点累加顺序(最难消除)、GPU 非确定性算子、数据源本身在变。务实目标是效果等价(同一验证集上指标差异在容忍阈值以内),不是逐位相同;最有效的一招是数据快照——把训练数据固化成带哈希的不可变文件,比让 SQL 可复现容易得多。
  5. 因为模型加载成功、预测不报错、分数看起来也正常,整体通过率从 31.2% 到 30.4% 在日常波动范围内;唯一的信号是一条 InconsistentVersionWarning,级别只是 WARNING,淹没在每秒几千条日志里。真正变的是编码器对「训练时没见过的类别」从抛异常改成了静默编码成全 0,恰好那阵子上了两个新渠道 → 这批人渠道特征全 0 → 分数系统性偏低。代价:3 个月多拒约 1.4 万人,其中约 63% 是本该通过的优质客户。发现方式:一张申诉工单里客户说「我从另一个渠道申请就通过了」。教训是模型文件能加载 ≠ 模型行为不变。
  6. 发布时把 200 条有代表性的样本 + 它们当时的预测值冻进运行时发布包,之后每次启动/升级依赖/改代码都重跑并逐条比对。它能挡住依赖升级、预处理产物丢失、特征顺序错位、模型文件损坏、加载了错版本——全在启动那一刻暴露。选样本不要随机取:要覆盖边界(各分数段、每个类别特征的每个取值至少一条、加上历史上出过问题的样本)。对不上必须 raise 拒绝启动,而不是打 warning。
  7. 把特征名、顺序、类型固化,推理时按它组装,从根本上杜绝第 4 章的「特征顺序错位」bug。「多了不认识的特征」必须报错,是因为上游把 user_age 改名成 age 时会同时缺一个、多一个;只查缺失的话 user_age 会走缺失值填充,一切照常运行,只是全错了。
  8. 不少于标签延迟的 3 倍。否则标签到了却没有对应的特征数据可用于分析和重训。
  9. 4000 QPS 下:轻量版每条约 200 字节 → 每天约 69 GB,可以 100% 落;全量特征每条约 4 KB → 100% 落是每天约 1.4 TB,采样 3% 后约 41 GB 就很可接受。分层:所有样本落轻量版 100%;异常样本(拒绝/高分/走降级/命中规则)落全量 100%;普通样本按 1%–5% 随机落全量;SHAP 再抽 0.1%–1%。普通样本的随机采样更重要,因为只有异常样本的话你有一堆"坏样本"却没有同期的"好样本"当参照,第 11 章第 ⑤ 步的对比分析根本做不了。
  10. 数据快照/版本、特征定义版本、训练运行与代码配置、依赖镜像、模型产物、评估报告、部署配置。第三项必须给每次训练一个 run ID,并绑定代码提交、完整超参数和随机种子;否则只知道“用过这份代码”,仍无法重放当时的训练。模型产物包含模型文件与预处理产物,特征定义版本和训练运行中的代码修订承接特征逻辑,依赖镜像承接运行环境,部署配置仍是上线行为的一部分;新增的数据快照和评估报告补上训练来源与批准证据。因此七项包含并扩展五类,而不是另一套平行发布清单。
  11. candidate 是训练完成待检查,approved 是证据和审批通过但未必接流量,deployed 是某环境正在使用,retired 是停止新部署但按策略保留追溯。注册表保存版本、状态、审批、关系和产物地址等元数据;Artifact Store 保存模型权重、报告、快照等大文件。注册记录存在不等于产物存在、哈希正确或权限安全。
  12. 因为旧模型配新特征、新索引或新阈值时,线上行为不会回到旧版,甚至可能出现维度、候选集或决策边界不兼容。应切换一个绑定四者的发布清单;之后核对四个实际版本号、跑黄金样本,并观察错误率、延迟、预测分布和受影响人群是否恢复。已产生的副作用仍需补偿。

本节回顾

⚡ 走神救援

⭐ 日常最高频的回溯需求是「上个月还好好的」——没有版本记录时,这句话根本无法验证。

先记五类运行时发布包:模型文件、特征逻辑、预处理产物(编码器/归一化/分桶边界)、部署配置、环境;它回答服务要一起加载什么。只记模型文件,回滚时会出第 3 章那个问题。线上日志至少要落:模型版本号、输入特征值、走的是正常还是降级链路——投诉来的时候十秒就能排除一大类问题。

⚠️ 逐位复现很难(随机种子、多线程浮点累加顺序、GPU 非确定性算子、数据源本身在变)→ 务实目标是「效果等价」而不是逐位相同,数据快照是最有效的一招。

💀 那个基础镜像升级的案例:模型加载成功、预测不报错、通过率变化在正常波动内,唯一信号是一条 WARNING 级别的版本警告,淹没在每秒几千条日志里。实际变化是编码器对「没见过的类别」从抛异常改成了静默编码成全 0,而那阵子刚上了新渠道——这批人分数系统性偏低,三个月里多拒了一大批本该通过的客户。

⭐ 记住这句:模型文件能加载 ≠ 模型行为不变。

🥇 最有效的一招是黄金样本:发布时把两百条覆盖边界的样本连同当时的预测值冻进运行时发布包,每次启动或升级依赖都逐条比对,对不上就拒绝启动(不是 warning)。二十行代码,挡住依赖升级、编码器丢失、特征顺序错位、模型损坏、加载错版本——全在启动那一刻暴露。

⚠️ schema 校验里「多了不认识的特征」也必须报错:上游把字段改个名会同时缺一个多一个,只查缺失就会走缺失值填充,一切照常运行,只是全错了。

🧬 七项端到端血缘包含并扩展五类运行时发布包:模型与预处理器归入模型产物,特征逻辑拆成特征定义和训练运行中的代码修订,环境固化成镜像,部署配置保留;再补数据快照与评估报告。训练运行必须同时绑定 run ID + 代码提交 + 完整超参数 + 随机种子,缺一组就不能声称可重训。模型注册表保存状态、审批和指针,大文件留在 Artifact Store;有记录不等于产物已被校验。

⏮️ 回滚必须切换整个发布清单:模型、特征、索引、配置一起回到上一套已批准组合,再核对实际版本、黄金样本和线上指标。只回模型,行为可能根本没有回去。

下一节 👉 18-成本与容量.md

打卡记录保存在你的浏览器里,首页能看到总进度