11 · 从告警到根因

   ① 是真的吗？        —— 先确认指标本身没坏          5 分钟
   ② 是什么时候开始的？ —— 定位时间点，圈定嫌疑范围     10 分钟 ⭐⭐
   ③ 是谁变了？        —— 我方发布 / 上游 / 外部       15 分钟
   ④ 是哪部分流量？     —— 分人群、分渠道拆开           15 分钟 ⭐
   ⑤ 是哪个特征？      —— 特征分布 + SHAP 对比         30 分钟
   ⑥ 是模型本身吗？     —— 最后才怀疑模型               —

   [ ] 指标口径最近改过吗？（埋点、SQL、看板定义）
   [ ] 数据是不是还没跑完？（离线任务延迟会让当天指标偏低）⭐
   [ ] 对比的基线选对了吗？（昨天是节假日吗）
   [ ] 分母变了吗？（比率类指标：分母涨了也会让比率跌）⭐

   把指标按【小时】画出来，找到拐点

   ⭐ 拐点的形状直接告诉你原因类型：

   突变（一小时内断崖）
     → 发布、配置变更、上游故障
     → 去查那个时间点前后一小时的所有变更  ⭐

   阶梯（某天开始换了个平台）
     → 上游数据源变了、口径变了

   缓慢下滑（几周）
     → 漂移（第 6 章），不是故障

   周期性（每天同一时间）
     → 定时任务、批处理窗口、跨时区流量

   把这些放进同一张图（或同一个查询）：
   · 模型/服务发布记录
   · 配置变更
   · 上游数据表的产出时间和行数
   · 运营活动排期
   · 外部事件（大促、节假日）

   ⭐ 这个「变更时间线」值得专门做一个看板，
      它能把 ③ 那一步从半小时压缩到一分钟

import numpy as np

def find_changepoint(series, min_seg=6):
    """最小二乘单拐点检测：把序列切成两段，找「组内方差和」最小的切点。
    series: 按小时（或按天）排好序的指标序列"""
    x = np.asarray(series, dtype=float)
    n = len(x)
    best, best_cost = None, np.inf
    for k in range(min_seg, n - min_seg):
        cost = x[:k].var() * k + x[k:].var() * (n - k)   # ⭐ 两段各自越"平"越好
        if cost < best_cost:
            best, best_cost = k, cost
    a, b = x[:best], x[best:]
    jump = b.mean() - a.mean()
    se = np.sqrt(a.var() / len(a) + b.var() / len(b)) + 1e-12
    # ⭐ 关键是这个 z：跳变幅度要和"本来的波动"比，否则天天都能找出拐点
    return {"拐点位置": best, "跳变幅度": jump, "显著性z": jump / se}

# 用法：把最近 14 天 × 24 小时的指标喂进去，拿到「第几个小时」

   把指标按这几个维度拆开，看跌的是全体还是某一撮：

   · 新用户 / 老用户
   · 渠道（自然量 / 投放 / 各分发位）
   · 设备与版本（某个 App 版本？某个机型？）
   · 地域
   · 实验分组  ⭐

   ⭐ 如果只有某一撮跌 → 范围立刻缩小 90%
   ⭐ 如果全体均匀跌  → 多半是模型或全局配置

   ① 看特征监控看板：哪些特征的分布在拐点处变了（第 5、6 章）
   ② 按重要性排序，只看 Top-10（第 9 章）
   ③ 取一批「异常时段」样本和一批「正常时段」样本
      分别算 SHAP，对比每个特征的平均贡献  ⭐⭐（第 10 章）
      → 贡献变化最大的那个，通常就是元凶

import numpy as np, pandas as pd, shap

def diff_shap(model, X_bad, X_good, top=10):
    """对比异常时段和正常时段，找出贡献变化最大的特征"""
    ex = shap.TreeExplainer(model)
    sb = ex.shap_values(X_bad).mean(axis=0)     # ⭐ 带符号取均值，看方向
    sg = ex.shap_values(X_good).mean(axis=0)
    d = pd.DataFrame({
        "特征": X_bad.columns,
        "异常时段贡献": sb, "正常时段贡献": sg, "变化": sb - sg,
        "特征均值变化": X_bad.mean().values - X_good.mean().values,
    })
    return d.reindex(d["变化"].abs().sort_values(ascending=False).index).head(top)

   走到这一步还没找到，才考虑：
   · 概念漂移（第 6 章）—— 需要有标签才能确认
   · 模型文件损坏 / 加载了错误版本（先看版本号！）
   · 训练/推理不一致（第 4 章）—— 跑一次逐字段比对

   系统：反欺诈拦截模型，线上约 4000 QPS
   特征来自三处：
     · 请求参数        （实时，随请求带来）
     · 用户画像        （Redis）
     · 近 7 天行为聚合  （离线表，每天 04:00 产出）

   从周一 02:00 到周二 10:20 = 32 小时
   期间约 41% 的请求走了降级链路
   按事后回捞：漏放的欺诈交易约 4200 笔

   ⭐ 发现延迟 = 31 小时
      —— 而拦截率跌破阈值到有人处理，只花了 8 分钟
      真正的损失全在「发现」这一段

## 事件：<指标> 于 <时间> 下降 <幅度>

### ① 确认
- [ ] 口径未变 / 数据已跑完 / 基线合理 / 分母正常
- [ ] 模型版本号符合预期

### ② 时间点
- 拐点：______（精确到小时）
- 形状：突变 / 阶梯 / 缓降 / 周期

### ③ 该时间点附近的变更
| 时间 | 变更 | 相关性 |
|---|---|---|

### ④ 影响范围
| 维度 | 受影响的分组 | 未受影响的分组 |
|---|---|---|

### ⑤ 特征层面
| 特征 | 贡献变化 | 均值变化 |
|---|---|---|

### 结论
- 根因：
- 止损动作 / 时间：
- **发现延迟**：______（从发生到发现）⭐
- 改进项：新增什么监控能提前 N 小时发现

   ① 止损优先于定位 —— 能回滚就先回滚  ⭐
   ② 一次只改一个变量 —— 否则恢复了也不知道是哪个起作用
   ③ 相信数据，不相信记忆 —— 「我记得没改过」经常是错的
   ④ 排查过程要边做边记 —— 否则第二天复盘时全忘了
   ⑤ 先缩小范围，再深入细节 —— 二分优于遍历  ⭐
   ⑥ 「没报错」不等于「没出错」 —— 降级、兜底、默认值都是静默的 ⭐⭐