🏠 总目录📚 本教程 00 · 怎么用这份教程 →

模型上线之后 / 00 · 输入契约

接口返回成功,
输入就一定对吗?

训练用年,线上却送来月数。请求没报错,不能替代对输入单位与转换的核对。

先检查输入,再沿预测分布、效果评估和止损证据继续读。

同一个年龄,单位不一致会改变传入数值训练约定用年数a;同一年龄的月数是12a。若线上未经转换就传入月数,接口可以返回成功,但输入契约已经不同。这里不表示模型预测变化的比例。 同一个年龄,两种输入单位 训练约定年龄 / 年a 未经转换传入年龄 / 月12a 两者不能直接当作同一输入 接口成功 ≠ 输入契约一致
原文年/月单位情景的示意:a 是年龄年数,12a 是对应月数。图不表示预测也会变化 12 倍,没有运行模型。
📑 本页目录(点开跳转)

00 · 怎么用这份教程

⏱ 14 分钟 · 这是按问题查阅的入口,不要求先通读所有章节。

🎯 一句话

模型能返回结果,只说明服务能运行;还要检查结果是否可靠、变化因何发生,以及出了问题怎样止损。

🧩 先看一个“没有报错”的小例子

教学情景:接口成功了,输入却错了

训练时“年龄”按年计算,线上却传入了月数。接口仍返回成功,延迟也正常,但模型实际接收的数值变成了原来的 12 倍。

先看输入单位与转换,再看预测分布;不要仅因为服务健康就认定模型健康。这里是说明风险的假设情景,不是某次真实事故统计。

你已有的知识 还需问的问题 第一站
离线评估 线上人群和数据过程一样吗 02 · 离线与线上
做过 A/B 分流、观察窗口与实验单位是否合适 12 · A/B
用过特征重要性 相关特征和采样方式会怎样影响解释 09 · 特征重要性
看过 LLMOps 怎样在通用模型上监控与定位 05 · 监控、11 · 根因

灰度、回滚、一致性、监控、漂移、无标签信号、解释、因果评估、重训和审计都在下方地图中。先找到自己这一项即可。

🕐 为什么训练结束后还有工作

模型从问题定义、数据与特征、训练调参走向发布,之后还可能反复经历监控、排查、效果评估、重训与退役。

这些工作占多少时间取决于岗位、系统寿命与业务规模,没有统一的“训练两成、维护八成”比例。上线前就应设计监控与回滚,不必等模型训练完才开始考虑。

🎭 训练和线上:共同的问题,不同的约束

方面 开发与离线实验 线上运行
数据 固定快照也可能脏或泄漏 还要持续检查人群、来源与处理链变化
反馈 有标签时可算指标,也可能存在标签问题 标签可能延迟、缺失或只覆盖部分样本
错误 会报错,也会静默算错 同样两者都有,并可能影响真实用户
成功标准 匹配目标的独立评估,不反复拿测试集选设置 业务、安全、延迟和成本共同约束;因果结论需要相应设计
纠正方式 重跑、修数据、重训仍有成本 可回滚或降级,但已造成的影响未必能撤销

服务可用性、数据质量、模型表现不能相互替代。没有标签时能发现某些风险信号,不等于已经量出了真实准确率下降多少。

⚠️ 怎样使用这份教程

① 按操作所需补基础

理解“训练、验证、测试”和模型输入输出即可开始读概念。要复跑实验时,再补 Python 与训练基础:ML 入口。

② 区分案例、实验和真实复盘

案例帮助理解为什么需要影子流量、特征监控或分组指标。有出处的事故、可复跑实验和假设情景是三种证据,不能因为写得具体就把故事当成已证实的事故。

③ 每次留下一个可检查结果

例如:一份单位对照、一条能追到版本的记录、一次实际回滚演练。检查题可以按需做;中断后用本页导航或短回顾回来,不把用时当完成门槛。

🗺️ 完整主题地图

主题 章节 读完这一组先留下什么
起步 00、01 模型与服务的职责边界
发布 02 离线/线上、03 灰度影子回滚、04 训推一致性 发布与回退条件、特征一致性检查
监控 05 监控、06 漂移、07 无标签、08 告警 指标含义、触发后由谁处理
解释与定位 09 特征重要性、10 SHAP、11 根因 假设与验证,不把解释当因果证明
效果证据 12 A/B、13 观察性因果、14 辛普森等陷阱、15 长期效应 实验单位、适用假设与代理指标边界
持续运行 16 重训、17 版本回溯、18 成本容量、19 模型卡与审计 可复现记录、更新标准与资源约束
动手与查阅 20 项目、附录 A 实际验证材料,而非只勾选清单

所有逐章链接在模块目录。04 一致性、07 无标签、13 观察性因果可按当前问题选读,不承诺三章就能挡住大多数事故。

🧭 四种可分次完成的路线

当前目标 第一个入口 可选续读
准备发布 02 03 → 04 → 05
排查线上问题 11 依证据补 06、09、04
评估改动效果 12 不能实验时看 13,混合人群看 14,长期影响看 15
系统学习 01 按目录推进,再做 20 的项目

🔗 和其他模块怎样接起来

去哪 连接点
数据这一关 数据质量贯穿训练和线上,不是训练前后完全分开的两半
数据 17 · 版本与血缘 与本模块 17一起追踪数据、代码和模型版本
数据 18 · 特征存储 与本模块 04核对离线与在线特征
推荐算法 在推荐的评估与工程场景继续应用
Kaggle 比赛验证与真实生产目标可能不同
智能体工程 生产化还涉及工具、权限和恢复
全景导论 · LLMOps 语言模型应用的运行链路

✅ 检查点

  1. 接口成功、延迟正常,能证明年龄特征单位没错吗?
  2. 没有标签时发现输入分布变化,能直接报“准确率下降 10%”吗?
  3. 线上回滚后,是否所有用户影响都已撤销?
  4. 没有 A/B 时,观察到上涨是否就能归因于这次改动?
查看参考答案
  1. 不能。需检查特征值、单位、预处理与对应版本。
  2. 不能。分布变化是风险信号,准确率需要适当标签和评估。
  3. 不能保证。回滚影响后续行为,已发生的影响要单独处理。
  4. 不能直接归因。还需考虑人群、时间、其他变更,以及观察性分析的识别假设。

本章回顾

⚡ 走神救援

回来时先分清

  • 服务正常、输入正确和预测可靠,是三个不同检查。
  • 训练和线上都可能静默出错;线上还要控制真实用户影响。
  • 按证据定位、按目标评估,准备好回滚与后续验证。

👉 01 · 训练完才是开始

打卡记录保存在你的浏览器里,首页能看到总进度