12 · 评估与 A/B 实验

   AUC = 0.5   → 瞎猜
   AUC = 0.7   → 推荐系统里算差
   AUC = 0.75  → 一般
   AUC = 0.80  → 不错
   AUC = 0.85+ → 很好（或者……你穿越了，去查特征）⚠️

   💡 推荐系统里 AUC 提升 0.001 (0.1个千分点) 就是有意义的改进
      别拿 CV/NLP 的直觉来看这个数字

  用户A（重度用户）：点了 100 个，预测分都在 0.8-0.9
  用户B（轻度用户）：点了 2 个，预测分都在 0.1-0.2

  全局 AUC 很高 ✅  —— 因为 A 的正样本分数 > B 的负样本分数
  但这个"高"毫无意义 —— 你从来不需要比较 A 和 B 的物品！

import numpy as np
from sklearn.metrics import roc_auc_score

def gauc(user_ids, y_true, y_pred):
    total_w, total_auc = 0.0, 0.0
    for u in np.unique(user_ids):
        m = user_ids == u
        yt = y_true[m]
        if len(np.unique(yt)) < 2:      # 全正或全负，算不了 AUC，跳过
            continue
        w = m.sum()
        total_auc += w * roc_auc_score(yt, y_pred[m])
        total_w += w
    return total_auc / total_w if total_w else 0.0

  DCG@K = Σ  (2^rel_i - 1) / log₂(i + 1)
          i=1..K
               ↑             ↑
           物品的相关度    位置折损（越靠后贡献越小）

  NDCG@K = DCG@K / IDCG@K     ← 除以"理想排序"的 DCG，归一化到 0~1

def ndcg_at_k(ranked_relevances, k=10):
    """ranked_relevances: 按模型排序后，每个位置的真实相关度"""
    r = np.asarray(ranked_relevances, dtype=float)[:k]
    discounts = np.log2(np.arange(2, len(r) + 2))
    dcg = np.sum((2 ** r - 1) / discounts)

    ideal = np.sort(np.asarray(ranked_relevances, dtype=float))[::-1][:k]
    idcg = np.sum((2 ** ideal - 1) / np.log2(np.arange(2, len(ideal) + 2)))
    return dcg / idcg if idcg > 0 else 0.0

  你的测试集里只有「系统曾经推过的物品」。
  系统从没推过的物品，用户会不会喜欢？——你的数据里没有答案。

  → 离线评估实际上是在问「新模型有多像老模型」
  → 一个和老模型完全不同但更好的模型，离线指标可能反而更差！

  全部用户
     │
     ├──── 50% ────► 【对照组 Control】  跑老策略
     │
     └──── 50% ────► 【实验组 Treatment】跑新策略
                            │
                     跑 7-14 天
                            │
                     比较核心指标
                            │
                  统计显著？ → 全量上线 / 回滚

# 标准做法：哈希用户 ID，保证同一用户始终进同一组
bucket = int(hashlib.md5(f"{exp_id}_{user_id}".encode()).hexdigest(), 16) % 100
group = "treatment" if bucket < 50 else "control"

  【核心指标】决定上不上线，1-2 个就够
    · 人均使用时长
    · 次日/7日留存
    · 人均消费内容数
    · GMV / 转化率（电商）

  【护栏指标 Guardrail】不能跌，跌了一票否决 ⭐
    · 页面加载延迟 P99
    · 崩溃率、错误率
    · 内容多样性
    · 举报率 / 负反馈率
    · 创作者侧指标（新作者曝光量）
    · 收入（如果实验不是为了提收入）

  【诊断指标】用来解释「为什么涨/跌」
    · CTR、完播率、点赞率
    · 各召回路的贡献占比
    · 各类目的曝光分布

import numpy as np
from scipy import stats

def ab_test(clicks_a, imps_a, clicks_b, imps_b, alpha=0.05):
    """两组转化率的显著性检验（双比例 z 检验）"""
    p_a, p_b = clicks_a / imps_a, clicks_b / imps_b
    p_pool = (clicks_a + clicks_b) / (imps_a + imps_b)
    se = np.sqrt(p_pool * (1 - p_pool) * (1 / imps_a + 1 / imps_b))
    z = (p_b - p_a) / se
    p_value = 2 * (1 - stats.norm.cdf(abs(z)))

    # 相对提升 + 95% 置信区间
    lift = (p_b - p_a) / p_a
    se_diff = np.sqrt(p_a*(1-p_a)/imps_a + p_b*(1-p_b)/imps_b)
    ci = (( (p_b-p_a) - 1.96*se_diff)/p_a, ((p_b-p_a) + 1.96*se_diff)/p_a)

    return {
        "control": f"{p_a:.4%}", "treatment": f"{p_b:.4%}",
        "lift": f"{lift:+.2%}", "lift_95CI": f"[{ci[0]:+.2%}, {ci[1]:+.2%}]",
        "p_value": round(p_value, 5),
        "significant": p_value < alpha,
    }

print(ab_test(clicks_a=50_000, imps_a=1_000_000,
              clicks_b=51_000, imps_b=1_000_000))

def sample_size(baseline_rate, mde, alpha=0.05, power=0.8):
    """
    mde: 最小可检测提升（相对值），如 0.02 表示想检出 2% 的相对提升
    返回：每组需要多少样本
    """
    from scipy.stats import norm
    p1 = baseline_rate
    p2 = baseline_rate * (1 + mde)
    z_a, z_b = norm.ppf(1 - alpha/2), norm.ppf(power)
    p_bar = (p1 + p2) / 2
    n = (z_a*np.sqrt(2*p_bar*(1-p_bar)) + z_b*np.sqrt(p1*(1-p1)+p2*(1-p2)))**2 / (p2-p1)**2
    return int(np.ceil(n))

# CTR 5%，想检出 2% 的相对提升
print(sample_size(0.05, 0.02))   # 每组需要约 75 万曝光

   离线 AUC 涨了 0.3%，上线 CTR 没动 —— 怎么排查？

   ① 检查特征穿越      → 离线用了线上拿不到的特征？
   ② 检查离线/在线一致  → 同一个样本，两边打分一样吗？（必查！）
   ③ 检查候选集差异    → 离线在小候选集上评，线上是全库？
   ④ 检查约束差异      → 线上有多样性/频控/广告位，离线没有？
   ⑤ 检查流量分布      → 离线数据是历史全量，线上是当前时段？
   ⑥ 检查样本量        → 实验跑够了吗？置信区间包含 0 吗？