05 · 该监控什么

   1. 缺失率        —— 突然从 2% 涨到 40%？上游挂了
   2. 取值范围      —— 出现了训练时没见过的极值？单位可能变了
   3. 分布          —— 均值/分位数漂移（第 6 章详讲）
   4. 类别集合      —— 出现新类别？消失了某个类别？⭐

import numpy as np, pandas as pd, json

def feature_profile(df: pd.DataFrame) -> dict:
    """训练时算一次存下来，线上定期算同样的指标做对比"""
    prof = {}
    for col in df.columns:
        s = df[col]
        d = {"missing_rate": float(s.isna().mean())}
        if np.issubdtype(s.dtype, np.number):
            q = s.quantile([.01, .25, .5, .75, .99]).to_dict()
            d.update(kind="num", mean=float(s.mean()), std=float(s.std()),
                     **{f"p{int(k*100)}": float(v) for k, v in q.items()})
        else:
            vc = s.value_counts(normalize=True)
            d.update(kind="cat", n_unique=int(s.nunique()),
                     top=vc.head(20).to_dict())          # ⭐ 存 top-K 占比
        prof[col] = d
    return prof


def check(base: dict, live: dict, missing_jump=0.1, mean_sigma=3):
    """返回需要告警的特征。规则简单但在实践中够用。"""
    alerts = []
    for col, b in base.items():
        l = live.get(col)
        if l is None:
            alerts.append((col, "特征消失了")); continue
        if l["missing_rate"] - b["missing_rate"] > missing_jump:
            alerts.append((col, f"缺失率 {b['missing_rate']:.1%}→{l['missing_rate']:.1%}"))
        if b["kind"] == "num" and b["std"] > 0:
            z = abs(l["mean"] - b["mean"]) / b["std"]        # ⭐ 用训练集 std 归一
            if z > mean_sigma:
                alerts.append((col, f"均值漂移 {z:.1f}σ"))
        if b["kind"] == "cat":
            new = set(l["top"]) - set(b["top"])
            if new:
                alerts.append((col, f"新类别 {list(new)[:3]}"))
    return alerts

   1. 预测值分布      —— 均值、方差、分位数
                        ⭐ 突变几乎总是坏消息
   2. 预测的置信度     —— 高置信样本占比下降 = 模型开始「不确定」
   3. 输出多样性       —— 推荐/生成场景：是不是塌缩到少数几个答案
   4. 业务指标         —— CTR、转化率、人均时长
   5. 有标签后的真实指标 —— AUC、准确率（但会延迟，见第 7 章）

   ① 整体平移      → 多半是某个特征的单位/口径变了
   ② 方差塌缩      → 模型开始给所有人差不多的分数
                     常见于特征大面积缺失（退化成只用偏置）⭐
   ③ 双峰变单峰    → 某一类样本消失了，或被错误地归到一起

   ❌ 拍脑袋定「均值不能变超过 10%」
   ✅ 用历史数据反推：

   ① 取过去 30 天的每日指标
   ② 算它自己的均值和标准差
   ③ 阈值 = 均值 ± 3σ（或用分位数：超出历史 P1~P99）
   ④ 用剩下的历史数据回测：这个阈值会报多少次警？

   ⭐ 第 ④ 步最关键 —— 如果回测显示一个月要报 50 次警，
      这个阈值一定会被无视（第 8 章）

   特征分布 ✅ 正常
   缺失率   ✅ 正常
   取值范围 ✅ 正常

   但它是【三天前】算出来的                💀
   → 所有分布检查都会通过，因为三天前的分布本来就是对的

# ⭐ 一个直接可跑的新鲜度检查：只查元数据，不扫全表，几乎零成本
import datetime

FRESHNESS_SLA = {                    # 表名 -> 允许的最大滞后（小时）
    "dw_user_action_di": 30,         # T+1 日表，给 6 小时冗余
    "rt_user_profile":  0.25,        # 实时表，15 分钟
    "dim_item_info":    72,          # 维表，3 天
}

def check_freshness(get_latest_partition_ts):
    now, alerts = datetime.datetime.now(), []
    for tbl, sla_h in FRESHNESS_SLA.items():
        ts = get_latest_partition_ts(tbl)             # ⭐ 只读元数据
        lag = (now - ts).total_seconds() / 3600
        if lag > sla_h:
            # ⭐ 直接给出「已经用旧数据服务了多久」，而不是只说"表旧了"
            alerts.append(f"{tbl} 滞后 {lag:.1f}h（SLA {sla_h}h），超出 {lag - sla_h:.1f}h")
    return alerts

   某推荐服务的用户画像表，凌晨 2:00–5:00 因上游故障返回空
   → 这 3 小时里，用户侧特征全部走默认值
   → 这 3 小时的 CTR 从 4.2% 掉到 1.1%（−74%）

   监控为什么没报：
   · 特征缺失率是【按天】算的
     全天缺失率 = 3/24 × 100% + 21/24 × 2% ≈ 14.3%
     告警阈值是「缺失率涨幅 > 10 个百分点」
     → 14.3% − 2% = 12.3pp  →  刚好触发了？

   ⚠️ 并没有：告警是【第二天早上 8 点】跑批时才算出来的
   → 距离故障开始已经 30 小时，距离结束 27 小时
   → 值班同学看到时，问题早就自己好了 → 标成"已恢复，不处理"