附录 A · 速查

   ① 是真的吗    口径改了？数据跑完了？【分母变了吗】？版本号对吗？
   ② 什么时候起  按【小时】画曲线找拐点 —— 信息量最大的一个数字 ⭐
   ③ 谁变了      发布 / 上游 / 配置 / 外部。能回滚就先回滚 ⭐
   ④ 哪部分流量  新老、渠道、版本、地域、实验组
   ⑤ 哪个特征    特征监控 + SHAP 对比异常/正常时段 ⭐
   ⑥ 模型本身    最后才怀疑它

   1 错误率 / P99 延迟
   2 降级触发次数        ⭐ 静默失效的唯一信号
   3 模型版本号
   4 每个特征的缺失率     ⭐⭐ 上游故障最快的信号
   5 Top-5 重要特征的均值漂移
   6 预测值的均值和标准差  ⭐ 标准差塌缩 = 特征大面积缺失
   7 核心业务指标（按小时）
   8 训练/线上特征一致性抽检 ⭐⭐
   9 新鲜度（特征/上游表/模型）⭐ 唯一在坏数据【进模型之前】报警的

   ① 两套代码（时区/空值/边界）   ② 时间窗口对不齐
   ③ 特征穿越 ⭐ 离线 CV 发现不了  ④ 新类别静默映射到 0 💀
   ⑤ 归一化参数没保存            ⑥ 缺失值处理不同
   ⑦ 特征顺序错位 💀 类型全对、不报错，表现像"模型不行"
   ⑧ 线上有降级样本训练集没有 ⭐⭐ 占 2~5%，高峰期 15%
   ⑨ 统计特征口径 —— 只伤长尾，整体指标看不出来

import hashlib
def bucket(uid, exp, n=100):
    key = f"{exp}:{uid}".encode()      # ⭐ 盐（实验名）必须参与哈希
    return int.from_bytes(hashlib.md5(key).digest()[:8], "big") % n
    # 💀 绝不用内置 hash()：每次发版分组会洗牌，且不报错

import numpy as np
def psi(base, live, bins=10):
    e = np.quantile(base, np.linspace(0, 1, bins + 1))  # ⭐ 边界按训练集切并存下来
    e[0], e[-1] = -np.inf, np.inf
    f = lambda v: np.clip(np.histogram(v, e)[0] / len(v), 1e-6, None)
    b, l = f(base), f(live)
    return float(np.sum((l - b) * np.log(l / b)))

def compare(online, offline, tol=1e-6):
    assert list(online.columns) == list(offline.columns), "列序不符"  # ⭐ 先查⑦
    num = online.select_dtypes("number").columns
    bad = (online[num] - offline[num]).abs().gt(tol).mean()
    return bad[bad > 0].sort_values(ascending=False)   # ⭐ 标准是完全一致

import numpy as np
def changepoint(x, min_seg=6):
    x = np.asarray(x, float); n = len(x)
    k = min(range(min_seg, n-min_seg), key=lambda i: x[:i].var()*i + x[i:].var()*(n-i))
    a, b = x[:k], x[k:]
    se = np.sqrt(a.var()/len(a) + b.var()/len(b)) + 1e-12
    return k, (b.mean()-a.mean())/se     # ⭐ |z| < 3 就当没有拐点

import numpy as np, pandas as pd, shap
def shap_diff(model, X_ok, X_bad, top=10):
    ex = shap.TreeExplainer(model)
    d = pd.DataFrame({"贡献变化": ex.shap_values(X_bad).mean(0) - ex.shap_values(X_ok).mean(0),
                      "特征值变化": X_bad.mean() - X_ok.mean()}, index=X_ok.columns)
    # ⭐ 两列一起看：都变了=数据问题；只有贡献变=换版或顺序错位
    return d.reindex(d["贡献变化"].abs().sort_values(ascending=False).index).head(top)

from scipy.stats import chisquare
def srm(c, alpha=1e-3):     # ⭐ 阈值 1e-3 不是 0.05（每天跑很多次，防多重比较）
    p = chisquare(c, [sum(c)/len(c)] * len(c)).pvalue
    return p, ("🔴 分流有 bug，结论不可信" if p < alpha else "✅ 正常")
print(srm([1043221, 1051884]))   # 差 0.83% → p≈2e-9，铁定有 bug 💀

import statsmodels.formula.api as smf     # df 每行 =「地区 × 周」
m = smf.ols("y ~ treated + post + treated:post", data=df).fit(
        cov_type="cluster", cov_kwds={"groups": df["region"]})   # ⭐⭐ 必须聚类
print(m.params["treated:post"], m.conf_int().loc["treated:post"])

import json, numpy as np, pandas as pd
def verify_golden(model, path, atol=1e-6):
    g = json.load(open(path, encoding="utf-8"))   # 发布时冻结的 200 条样本+预测值
    d = np.abs(model.predict_proba(pd.DataFrame(g["X"]))[:, 1] - np.array(g["p"]))
    if (d > atol).any():                          # ⭐ raise 拒绝启动，不是 warning
        raise RuntimeError("黄金样本对不上")

   设计
   [ ] 主指标只有一个，实验前写下来        ⭐⭐
   [ ] 算过 MDE（比业务有意义的提升还大就别跑）⭐
   [ ] 时长 ≥ 一个完整周期（≥1 周）
   [ ] 分流按用户哈希 + 加实验名的盐        ⭐
   [ ] 想过网络效应（SUTVA）

   运行
   [ ] 先跑 A/A 验证分流系统
   [ ] 中途只止损     ⭐ 负向可早停，正向必须等满
   [ ] 护栏指标在看   ⭐ 用红线否决，不要加权求和

   分析
   [ ] SRM 检查       ⭐⭐ 没修好之前不要看任何结论
   [ ] 报置信区间，不只报均值
   [ ] 分人群看（辛普森）／ 看逐日曲线（新奇效应）⭐

   [ ] 分人群看还成立吗？          辛普森 ⭐
   [ ] 样本是怎么来的、谁被筛掉了？ 幸存者
   [ ] 有对照组吗？               均值回归 ⭐
   [ ] 数据在决策时点存在吗？       前视偏差
   [ ] 相对值和绝对值都看了吗？
   [ ] 分母变了吗？               比率陷阱 ⭐
   [ ] 指标被优化后还代表价值吗？   古德哈特 ⭐

   影子 → 灰度 1% → 10% → A/B 50/50 → 全量
    │      每档至少一个完整业务周期
    └ 逐字段比对训练/推理特征（1000 条，要求完全一致）⭐⭐

   闸1 数据质量   ⭐ 挡"管道坏了还硬训"，必须含【逐特征 PSI】
   闸2 训练健康
   闸3 效果对比   同一验证集不差于现役 + ⭐【分人群】对比
   闸4 一致性     ⭐⭐ 训练/推理特征比对
   闸5 灰度指标

   用途 / 版本 / 负责人
   ⭐⭐【不应用于】—— 整张卡最有价值的一节
   训练数据（来源、时间、人群构成、已知偏差）
   评估（整体 + 分人群 + 公平性定义选了哪个）
   局限与已知失效模式 ／ 运维（监控、重训、降级、回滚、联系人）