00 · 怎么用这份教程
⏱ 14 分钟 · 这是按问题查阅的入口,不要求先通读所有章节。
🎯 一句话
模型能返回结果,只说明服务能运行;还要检查结果是否可靠、变化因何发生,以及出了问题怎样止损。
🧩 先看一个“没有报错”的小例子
教学情景:接口成功了,输入却错了
训练时“年龄”按年计算,线上却传入了月数。接口仍返回成功,延迟也正常,但模型实际接收的数值变成了原来的 12 倍。
先看输入单位与转换,再看预测分布;不要仅因为服务健康就认定模型健康。这里是说明风险的假设情景,不是某次真实事故统计。
| 你已有的知识 | 还需问的问题 | 第一站 |
|---|---|---|
| 离线评估 | 线上人群和数据过程一样吗 | 02 · 离线与线上 |
| 做过 A/B | 分流、观察窗口与实验单位是否合适 | 12 · A/B |
| 用过特征重要性 | 相关特征和采样方式会怎样影响解释 | 09 · 特征重要性 |
| 看过 LLMOps | 怎样在通用模型上监控与定位 | 05 · 监控、11 · 根因 |
灰度、回滚、一致性、监控、漂移、无标签信号、解释、因果评估、重训和审计都在下方地图中。先找到自己这一项即可。
🕐 为什么训练结束后还有工作
模型从问题定义、数据与特征、训练调参走向发布,之后还可能反复经历监控、排查、效果评估、重训与退役。
这些工作占多少时间取决于岗位、系统寿命与业务规模,没有统一的“训练两成、维护八成”比例。上线前就应设计监控与回滚,不必等模型训练完才开始考虑。
🎭 训练和线上:共同的问题,不同的约束
| 方面 | 开发与离线实验 | 线上运行 |
|---|---|---|
| 数据 | 固定快照也可能脏或泄漏 | 还要持续检查人群、来源与处理链变化 |
| 反馈 | 有标签时可算指标,也可能存在标签问题 | 标签可能延迟、缺失或只覆盖部分样本 |
| 错误 | 会报错,也会静默算错 | 同样两者都有,并可能影响真实用户 |
| 成功标准 | 匹配目标的独立评估,不反复拿测试集选设置 | 业务、安全、延迟和成本共同约束;因果结论需要相应设计 |
| 纠正方式 | 重跑、修数据、重训仍有成本 | 可回滚或降级,但已造成的影响未必能撤销 |
服务可用性、数据质量、模型表现不能相互替代。没有标签时能发现某些风险信号,不等于已经量出了真实准确率下降多少。
⚠️ 怎样使用这份教程
① 按操作所需补基础
理解“训练、验证、测试”和模型输入输出即可开始读概念。要复跑实验时,再补 Python 与训练基础:ML 入口。
② 区分案例、实验和真实复盘
案例帮助理解为什么需要影子流量、特征监控或分组指标。有出处的事故、可复跑实验和假设情景是三种证据,不能因为写得具体就把故事当成已证实的事故。
③ 每次留下一个可检查结果
例如:一份单位对照、一条能追到版本的记录、一次实际回滚演练。检查题可以按需做;中断后用本页导航或短回顾回来,不把用时当完成门槛。
🗺️ 完整主题地图
| 主题 | 章节 | 读完这一组先留下什么 |
|---|---|---|
| 起步 | 00、01 | 模型与服务的职责边界 |
| 发布 | 02 离线/线上、03 灰度影子回滚、04 训推一致性 | 发布与回退条件、特征一致性检查 |
| 监控 | 05 监控、06 漂移、07 无标签、08 告警 | 指标含义、触发后由谁处理 |
| 解释与定位 | 09 特征重要性、10 SHAP、11 根因 | 假设与验证,不把解释当因果证明 |
| 效果证据 | 12 A/B、13 观察性因果、14 辛普森等陷阱、15 长期效应 | 实验单位、适用假设与代理指标边界 |
| 持续运行 | 16 重训、17 版本回溯、18 成本容量、19 模型卡与审计 | 可复现记录、更新标准与资源约束 |
| 动手与查阅 | 20 项目、附录 A | 实际验证材料,而非只勾选清单 |
所有逐章链接在模块目录。04 一致性、07 无标签、13 观察性因果可按当前问题选读,不承诺三章就能挡住大多数事故。
🧭 四种可分次完成的路线
| 当前目标 | 第一个入口 | 可选续读 |
|---|---|---|
| 准备发布 | 02 | 03 → 04 → 05 |
| 排查线上问题 | 11 | 依证据补 06、09、04 |
| 评估改动效果 | 12 | 不能实验时看 13,混合人群看 14,长期影响看 15 |
| 系统学习 | 01 | 按目录推进,再做 20 的项目 |
🔗 和其他模块怎样接起来
| 去哪 | 连接点 |
|---|---|
| 数据这一关 | 数据质量贯穿训练和线上,不是训练前后完全分开的两半 |
| 数据 17 · 版本与血缘 | 与本模块 17一起追踪数据、代码和模型版本 |
| 数据 18 · 特征存储 | 与本模块 04核对离线与在线特征 |
| 推荐算法 | 在推荐的评估与工程场景继续应用 |
| Kaggle | 比赛验证与真实生产目标可能不同 |
| 智能体工程 | 生产化还涉及工具、权限和恢复 |
| 全景导论 · LLMOps | 语言模型应用的运行链路 |
✅ 检查点
- 接口成功、延迟正常,能证明年龄特征单位没错吗?
- 没有标签时发现输入分布变化,能直接报“准确率下降 10%”吗?
- 线上回滚后,是否所有用户影响都已撤销?
- 没有 A/B 时,观察到上涨是否就能归因于这次改动?
查看参考答案
- 不能。需检查特征值、单位、预处理与对应版本。
- 不能。分布变化是风险信号,准确率需要适当标签和评估。
- 不能保证。回滚影响后续行为,已发生的影响要单独处理。
- 不能直接归因。还需考虑人群、时间、其他变更,以及观察性分析的识别假设。
本章回顾
⚡ 走神救援
回来时先分清
- 服务正常、输入正确和预测可靠,是三个不同检查。
- 训练和线上都可能静默出错;线上还要控制真实用户影响。
- 按证据定位、按目标评估,准备好回滚与后续验证。