12 · A/B 实验：你以为你懂了

⏱ 48 分钟 ｜ ⭐ 每一条都有人踩过

🎯 一句话

A/B 实验的原理五分钟能讲完，但把它做对需要避开十几个坑 —— 而这些坑不会报错，只会给你一个看起来很合理的错误结论。

🎲 一、先把原理说清（五分钟）

🔑 随机化的全部意义：它让两组在你知道的和你不知道的因素上都均衡。 「你不知道的」那部分，是任何观察性方法都做不到的 —— 这就是为什么 A/B 是因果推断的黄金标准（第 13 章会讲没它时怎么办）。

📏 二、坑一：样本量不够就下结论

先算需要多少样本，再开始实验。

$$n \approx \frac{16\,\sigma^2}{\delta^2}\quad(\text{每组，}\alpha=0.05,\ \text{power}=0.8)$$

💡 人话：要检测的差异（δ）越小，需要的样本量按平方增长。

from statsmodels.stats.power import zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

def sample_size(p0, lift_abs, alpha=0.05, power=0.8):
    """p0: 基线转化率；lift_abs: 想检测的绝对提升"""
    es = proportion_effectsize(p0 + lift_abs, p0)
    return int(zt_ind_solve_power(effect_size=es, alpha=alpha, power=power))

print(sample_size(0.05, 0.005))   # 想检测 5% → 5.5%

但实践中更该跑的是反方向：我只有这么多流量，到底能检测出多大的提升？

from statsmodels.stats.power import zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize


def mde(n_per_group, p0, alpha=0.05, power=0.8):
    """MDE = 最小可检测提升。⭐ 实验设计时比 sample_size 更常用"""
    es = zt_ind_solve_power(nobs1=n_per_group, alpha=alpha, power=power)
    lo, hi = 0.0, 1.0 - p0                       # 提升越大，效应量越大 → 单调，可二分
    for _ in range(60):
        mid = (lo + hi) / 2
        if proportion_effectsize(p0 + mid, p0) < es:
            lo = mid
        else:
            hi = mid
    return (lo + hi) / 2

print(mde(30000, 0.05))     # 每组 3 万人、基线 5% → ≈ 0.005（即 5% → 5.5%）
print(mde(5000,  0.05))     # 每组 5 千人        → ≈ 0.0123（要涨 25% 才测得出）💀

⭐ 这个函数应该在实验开始前跑一次，而不是结束后： 如果算出来的 MDE 比「业务上有意义的提升」还大，这个实验就不该跑 —— 跑了也只会得到一个"不显著"，然后你还得花两周才知道自己白跑了。 上面第二行就是典型：每组只有 5 千人时，除非提升 25%，否则什么都测不出来。

流量不够怎么办：CUPED（方差缩减） ⭐

import numpy as np

def cuped(y, y_pre):
    """y: 实验期指标；y_pre: 同一批用户实验【开始前】同口径的指标 ⭐"""
    theta = np.cov(y, y_pre)[0, 1] / np.var(y_pre)    # ⭐ 方差最小化的最优系数
    y_adj = y - theta * (y_pre - y_pre.mean())        # ⭐ 均值不变，所以估计仍无偏
    return y_adj, 1 - np.var(y_adj) / np.var(y)       # 第二个返回值 = 方差降低比例

💡 理论上方差正好降低 ρ²（ρ 是实验期与实验前指标的相关系数）。 对留存、时长、GMV 这类"个体稳定性高"的指标，ρ 常常在 0.6–0.8 —— 这是一个改十行代码就能把实验效率翻倍的方法，却常年被忽略。

⚠️ 一条铁律：y_pre 必须取自实验开始之前。 用实验期内的数据当协变量 = 把实验效果本身扣掉了， 这就是第 4 章的特征穿越在实验分析里的形态。

⚠️ 样本量不够时会发生什么： 你会得到一个不显著的结果，然后误以为「新模型没用」—— 但实际可能是你的实验根本没有能力检测出这个大小的提升。 这叫 power 不足，它造成的损失是"把好东西扔掉"，而且你永远不会知道。

👀 三、坑二：偷看（peeking）

💡 一个能说服人的数字：

三个正确做法：

⭐ 第三条是实践中最常用的： 「负向可以早停，正向必须等满」 —— 因为早停止损的代价是可接受的， 而提前宣布成功会系统性地高估效果。

⏱️ 四、坑三：实验时长不够一个周期

⚠️ 新奇效应是最容易骗人的： 前三天涨 8%，一周后变成 +2%，一个月后变成 0。 只跑三天的实验，会让你把「新鲜感」当成「效果」。

对策：看逐日的效果曲线，而不只是累计值 —— 如果效果在稳定衰减，那多半是新奇效应。

🧪 五、坑四：多重比较

三个应对：

⭐ 第 ① 条是最重要的实验纪律： 实验开始前就写下「我用哪个指标判断成败」。 否则事后从 20 个指标里挑一个涨了的，在统计上毫无意义 （这叫 HARKing —— 先看结果再编假设）。

🕸️ 六、坑五：分流单元错了 / 有干扰

分流单元

网络效应（SUTVA 违背）

对策：换分流单元 —— 按城市、按时间片、按社交圈分流（cluster randomization）， 代价是样本量大幅下降（有效样本变成"簇"的个数，不是用户数）。

📊 七、坑六：只看均值

🔗 分人群看还能避免第 14 章那种反转。

📋 八、实验前的检查清单

⭐ 最后一条 SRM（Sample Ratio Mismatch）值得单独说： 如果你设的是 50/50，实际却是 50.4/49.6 —— 在大样本下这个偏差在统计上是不可能的，说明分流系统有 bug。 SRM 一旦出现，整个实验结果都不可信，必须先修分流。 这是业界公认最有效的实验健康检查，一行代码就能做：

from scipy.stats import chisquare

def srm_check(counts, expect=None, alpha=1e-3):
    """counts: 各组实际样本量，如 [n_a, n_b]；expect: 期望比例，默认等分
    ⭐ 阈值用 1e-3 而不是 0.05 —— 这个检查每天跑很多次，要防多重比较"""
    counts = list(counts)
    k, total = len(counts), sum(counts)
    expect = expect or [1 / k] * k
    p = chisquare(counts, [total * e for e in expect]).pvalue
    return p, ("🔴 SRM！分流有问题，结果不可信" if p < alpha else "✅ 正常")

print(srm_check([1043221, 1051884]))     # 差 0.83% → p ≈ 3e-9，铁定有问题 💀
print(srm_check([50120, 49880]))         # 差 0.24% → p ≈ 0.23，正常波动 ✅

⭐ 更该做的是「分层 SRM」：总体比例正常，不代表每一层都正常。 按平台、App 版本、地域、新老用户各跑一次 —— 哪一层 SRM 了，根因几乎就写在那一层的名字上。

💀 一个真实案例：一次 +6.2% 的胜利，三个月后发现是假的

复盘时唯一被跳过的检查：

根因链条：

💀 代价不止是这一个实验： 后续 5 个实验都以这个"新基线"为对照，三个月的迭代方向被整体带偏； 而且崩溃的那 4.1% 用户里，有相当一部分直接卸载了。

⭐ 而发现它只需要一行 srm_check，耗时 10 秒。 这就是为什么 SRM 被公认为投入产出比最高的一项实验检查。

SRM 出现时的排查顺序（照抄即可）：

⚠️ 九、一张坑表（每一条都有人踩过）

🔗 十、和站内其他章的关系

✅ 检查点

1. 随机化的全部意义是什么？为什么它是黄金标准？
2. 要检测的提升减半，样本量要变几倍？power 不足会造成什么损失？
3. 为什么说实验前该算的是 MDE 而不是样本量？每组 5 千人、基线 5% 时 MDE 大约多少？
4. CUPED 在做什么？方差降低和相关系数是什么关系？ρ=0.6 时相当于省了多少时间？CUPED 有哪条铁律？
5. 什么是 peeking？每天看一次看 10 天，假阳性率大约多少？实践中最常用的折中做法是什么？
6. 新奇效应怎么骗人？怎么识别？
7. 多重比较问题怎么解？最重要的实验纪律是什么？
8. 什么是 SUTVA 违背？举两个场景。对策的代价是什么？
9. 什么是 SRM？为什么它一出现整个实验就不可信？用那个 +6.2% 的案例说明它的根因链条。

🛑 可以停在这里

⚡ 走神救援

⭐ 随机化的全部意义：让两组在你知道的和不知道的因素上都均衡。 「不知道的」那部分是观察性方法做不到的，所以 A/B 才是黄金标准。

六个坑里最贵的两个：peeking（每天看、一跌破 0.05 就宣布，假阳性率会涨到几十个百分点；折中是负向可以早停、正向必须等满）和多重比较（看二十个指标必然有一个显著 → 实验前就写下唯一主指标）。其余：样本量、时长不足一周、SUTVA 违背、只看均值。

⭐ SRM 检查是业界公认最有效的健康检查：说好 50/50 而实际偏离，在大样本下统计上不可能发生，那意味着分流系统有 bug，整个实验不可信。一行卡方就能查。

⭐ 实验前该算的是 MDE 不是样本量（流量通常是给定的）。MDE 比业务上有意义的提升还大，这个实验就别跑。流量不够时用 CUPED：拿实验开始前的同口径指标当协变量，均值不变所以无偏，方差降下来等于缩短实验时长；⚠️ 铁律是 y_pre 只能取实验开始之前。

💀 那个「CTR +6.2%、p=0.003，全量上线后大盘纹丝不动」的案例：唯一被跳过的检查就是 SRM。某老版本 App 解析崩溃，这批用户从实验组分母里消失，而消失的恰好是 CTR 本来就低的人——涨幅全部来自「实验组少了一批差用户」。发现它只要十秒。

下一节 👉 13-不能做AB时的因果推断.md ⭐