15 · 长期效应与代理指标

   一个典型的曲线：

   效果
    │      ╱▔▔╲                新奇效应：先涨后落回
    │     ╱     ╲___________
    │────────────────────────  0 线
    │  ╲___                    学习效应：先跌后涨
    │      ╲______╱▔▔▔▔
    │  ▔▔▔▔╲                   透支未来：先涨后【转负】⭐
    │        ╲______
    └──────────────────────────► 时间

   新策略全量上线，但【永久留出 1~5% 的用户】不上
   → 这批人就是长期对照组
   → 半年后对比，得到真实的长期效应

   ⭐ 这是最可靠的办法，代价是这部分用户享受不到新功能

   holdback 1% 的成本
     = 1% 的用户，一整年享受不到所有改进

   假设一年的改进累计起来是 +8%：
   → 损失 ≈ 总盘子 × 1% × 8% = 0.08%     ⭐ 基本可以忽略

   而它买到的是：
   【唯一一个】能回答"这一年到底有没有用"的数据源

   ① 找一个短期能测、且和长期目标相关的指标
   ② 用【历史数据】验证这个相关性确实存在且稳定
   ③ 之后用它做快速决策
   ④ 定期回头重新验证  ⭐

   ① 和长期目标的关系【被历史数据验证过】，不是拍脑袋
   ② 短期可测 —— 两周内有足够 power（第 12 章的 MDE 算一下）
   ③ 【不容易被单独优化】⭐⭐ —— 这是最容易被忽略的一条
   ④ 方向明确（涨就是好），不需要"要看情况"

   💀 ③ 说的是：如果一个代理指标可以被"钻空子"地拉高
      而不带来真实价值，它一定会被钻 —— 无论钻的是模型还是人

import numpy as np

# past: 每行 = 一个已经跑完、并且已经有长期数据的历史实验
#   d_proxy  = 该实验在【短期代理指标】上的效应（如 加购率 +2.1%）
#   d_target = 该实验在【长期目标】上的效应   （如 30 天 GMV +0.4%）
def validate_proxy(past):
    r = np.corrcoef(past.d_proxy, past.d_target)[0, 1]
    # ⭐ 方向一致率比相关系数更好懂：代理涨的实验里有多少长期也涨了
    agree = ((past.d_proxy > 0) == (past.d_target > 0)).mean()
    # ⭐⭐ 最该盯的一个数：代理为正但长期为负 = 你会做错的决策比例
    wrong = ((past.d_proxy > 0) & (past.d_target < 0)).mean()
    return {"相关系数": r, "方向一致率": agree, "会做错的比例": wrong}

   场景：电商推荐
   长期目标：30 天 GMV —— 噪声太大，两周的实验根本测不出
   选定代理：加购率

   建立时验证过，而且很扎实：
   · 用过去 26 个实验回归，相关系数 ρ = 0.72
   · 方向一致率 88%
   → 团队据此在之后 14 个月判断了 60 多个实验，累计「加购率 +19%」

   · 「加购提醒」（降价时推送）
   · 「购物车凑单」（凑满减）

   → 加购变成了一个【几乎零成本】的动作
   → 用户开始把购物车当收藏夹用  ⭐
   → 加购 → 下单的转化率从 31% 掉到 12%

   重新跑 validate_proxy：ρ 从 0.72 掉到 0.19  🔴

   把实验期内【每一天】的效果画出来：

   · 单调衰减        → 新奇效应，长期收益要打折
   · 稳定            → 大概率能持续
   · 先负后正        → 学习效应，别过早叫停  ⭐
   · 先正后转负      → 危险信号，考虑不上线  ⭐⭐

   ⭐ 这一步几乎零成本，但大部分团队只看累计值

   主指标涨的同时，这些【不能掉】：

   · 留存（次日/7日/30日）
   · 负反馈率、投诉率
   · 内容/商品多样性
   · 长尾供给方的收益
   · 延迟、错误率

   ⭐ 护栏不是用来"优化"的，是用来【否决】的：
      主指标涨 5% 但留存掉 1% → 大概率不该上

   ⭐ 事前定规则，事后照规则执行：

   ① 主指标：必须显著为正
   ② 护栏指标：每个都设一条【红线】
      · 跌破红线 → 一票否决
      · 在红线内的波动 → 忽略
   ③ 都满足 → 上线；否则 → 不上或继续改

   ⚠️ 关键是【事前】定。事后定规则等于没有规则

   ✅ 正确用法：
   北极星指标是【方向共识】——让全公司知道往哪走

   ❌ 错误用法：
   把它当成【实验判据】——每个实验都用它

   为什么错：
   北极星（如"月活跃用户数"）通常【变化慢、噪声大】
   → 单个实验根本测不出它的变化
   → 你需要一个能在两周内测出差异的【可操作指标】⭐

   北极星（月活）
      ↑ 由什么驱动
   一级指标（次日留存、人均使用时长）
      ↑ 由什么驱动
   实验指标（CTR、完播率）   ← 实验实际用这个 ⭐

   ⭐ 关键是：这条链上每一环的连接，都要用数据验证过，
      而不是拍脑袋画出来的

   日常实验（1-2 周）
     用【实验指标】判断成败 + 护栏否决

   季度复盘
     用【长期 holdback 组】验证累计效果  ⭐

   半年一次
     重新验证「实验指标 → 一级指标 → 北极星」这条链
     还成立吗？  ⭐⭐