15 · 工程落地

def recommend(user_id, n=10, deadline_ms=200):
    """带超时降级的推荐服务骨架"""
    t0 = now_ms()
    try:
        candidates = retrieve(user_id, timeout=remaining(t0, 40, deadline_ms))
    except TimeoutError:
        return hot_cache.get(user_id) or global_hot_list[:n]     # 🛟 兜底1

    try:
        candidates = pre_rank(candidates, timeout=remaining(t0, 80, deadline_ms))
        ranked = rank(candidates, timeout=remaining(t0, 170, deadline_ms))
    except TimeoutError:
        ranked = candidates                                       # 🛟 兜底2: 跳过精排

    return rerank(ranked)[:n]

   问题：item_id Embedding = 1 亿 × 64 维 × 4 字节 = 25.6 GB
         单机装不下，GPU 显存更装不下

   解法：
   ① 参数服务器 (Parameter Server)：Embedding 分片存多台机器
   ② 哈希分桶：hash(id) % 1000万，接受少量冲突
   ③ 混合精度：Embedding 用 FP16 甚至 INT8
   ④ 频次过滤：低频 ID 统一映射到 <UNK>（第 7 节）
   ⑤ Semantic ID：从根本上缩小词表（第 14 节）⭐

  【天级全量】
    每天凌晨用过去 N 天数据完整训练
    ✅ 效果最稳   ❌ 追不上今天的热点

  【小时级增量】 ⭐ 工业界主流
    在昨天的全量模型上，用最近 1 小时数据继续训练
    ✅ 平衡了效果和时效

  【分钟级/流式在线学习】
    Kafka 消息一到就更新模型
    ✅ 极致时效（突发热点几分钟内响应）
    ❌ 容易被脏数据带偏，需要严格监控和回滚机制

   问题：曝光发生在 t 时刻，点击可能发生在 t+10 分钟
        怎么知道这次曝光有没有被点？

   ⭐ 标准解法：延迟窗口拼接
      1. 曝光日志进入"等待队列"
      2. 等 30 分钟（业务定），期间关联进来的点击都算正样本
      3. 30 分钟后仍没点击 → 标记为负样本，落盘

   ⚠️ 但转化类目标（购买）可能延迟几天 → 「延迟反馈问题」
      解法：延迟反馈建模（Delayed Feedback Model）、
           或先当负样本、后续用「正样本重要性加权」修正

  【系统层】—— 出问题最快发现
    · QPS、延迟 P50/P95/P99
    · 错误率、超时率
    · 各下游服务的可用性

  【业务层】—— 用户感受到的
    · CTR、时长、留存（分小时看）
    · 各召回路的曝光占比 ⭐ 某路突然归零 = 那路挂了
    · 兜底策略触发率 ⭐ 这个涨了说明链路有问题

  【模型层】—— 最容易被忽略，也最阴险
    · 预估分数的分布（均值、方差）⭐⭐
    · 特征覆盖率（某个特征突然大量缺失 = 上游数据源挂了）
    · 特征分布漂移（PSI 指标）
    · 在线/离线打分一致性

   正常：pCTR 均值稳定在 0.05 左右，波动 ±10%

   异常情况和含义：
     突然跌到 0.01  → 特征大面积缺失（上游挂了）
     突然涨到 0.5   → 模型加载错了 / 特征串了
     方差趋近于 0   → 模型退化，所有物品打一样的分
     阶跃变化       → 有人上线了新模型（是不是没通知你？）

  ① 离线实验
     指标达标（GAUC / Recall@K）+ 分组指标检查

  ② 一致性校验 ⭐ 必做
     取 1000 条线上真实请求 → 离线模型打分 → 对比线上打分
     差异 > 1e-5 → 停，先查问题

  ③ 影子流量（Shadow）
     新模型跑真实流量但结果不展示，观察延迟和分数分布
     持续 1-2 天

  ④ 小流量灰度 1%
     观察核心指标 + 护栏指标，至少 1 天

  ⑤ A/B 实验 10-50%
     跑满 7-14 天（含完整周末）
     统计显著 + 护栏不跌

  ⑥ 全量 + 保留 1-5% 反转组
     持续观察长期效应