🏠 总目录📚 本教程 12 · 评估与A/B实验 ← →
📑 本页目录(点开跳转)

12 · 评估与 A/B 实验

推荐算法 / 12

离线分数涨了,能说明新策略带来收益吗?

把历史数据上的预测、概率校准与随机实验的改变分开解释,保留独立代码入口。

能从问题选择指标,并在实验里核对分组、分母、区间与观察期。

⏱ 主线阅读约 25 分钟 | ⭐⭐ 工作中常用 | 五个独立代码实验另留时间

🎯 一句话

离线评估问“在这份历史数据上预测得怎样”,随机实验问“换成新策略后,结果是否因它而改变”。两者互相补充,不能用一个离线分数自动决定上线,也不能跳过数据质量检查就解释实验结果。

想直接动手,可以跳到 GAUC、NDCG、稳定分桶、双比例检验或样本量规划。五段互不依赖;这里的数值是明确输入下的教学计算,不是某个线上产品的实验成绩。

📊 离线指标:先确定要回答的问题

三类指标,分别看什么?

数值预测:RMSE、MAE
衡量预测值与真实数值差多远,例如评分或时长。它们不限于显式评分;能否使用,要看标签是不是有意义的数值目标。
二元结果与预测分数:AUC、GAUC、LogLoss
点击/未点击是一个例子。AUC、GAUC看正负样本的相对顺序;LogLoss评价给真实结果分配的概率。这里不是三个可以互换的“准确率”。
候选列表:Recall@K、Precision@K、NDCG@K、MRR、HitRate@K
K表示只检查列表前 K 项。它们分别关注是否找全、展示位是否命中、重要内容是否靠前;应对应召回、排序或端到端任务。

先写清标签、候选集合、时间范围与汇总方式,再比较数字。不同数据和协议下的两个 AUC 或 NDCG,不能只凭大小判模型输赢。

AUC:正样本能否排在负样本前面?

随机取一个正例和一个负例,比较模型分数:正例更高记 1,更低记 0,同分记 0.5;对全部正负样本对取平均,就是这里使用的二元 AUC。两类都要存在,才能进行这个比较。

AUC=0.5 是没有整体区分能力的参照,但单次得到 0.5 并不能证明模型是随机程序。0.7、0.8、0.85 都不是通用的好坏分界;结果取决于数据难度、标签与评估协议。异常高分值得查泄漏,但高分本身不是泄漏证据。

0.001 的提升 = 0.1 个百分点 = 1 个千分点。它是否值得投入,要看同协议下的不确定性、业务价值与线上证据,不能把这个幅度当成必然有意义的门槛。

二元 AUC 接受预测分数,不要求输入已是校准概率。scikit-learn 的接口说明也区分了概率估计和未阈值化的决策分数。

排序没变,不代表概率数值正确

对所有分数施加严格递增的变换,例如乘以正数或统一加常数,大小和原有并列关系不变,AUC也不变。递减变换会反转顺序;非严格递增变换可能制造新并列,不能一概说 AUC 不变。

校准关心概率与实际频率是否相符。例如一批人都被预测为 10% 转化率,就检查这批人实际是否约有 10% 转化。把这些预测全部改成 20%,排序可能不变,但概率含义已改变。

当分数参与出价、收入估计、阈值或多目标融合时,概率尺度尤其重要。即使主要任务是排序,也不能不看它如何被后续系统使用。

LogLoss会惩罚给真实结果过低概率的预测,但它不是纯粹的校准误差。可靠性图把预测概率分组后与实际频率对照,能补充这一视角。参见官方校准说明;不要用单个概率损失替代全部诊断。

继续了解:15b · 广告:从推荐到竞价讨论 pCTR 如何影响出价;《模型上线之后》02介绍 ECE、校准表以及 Platt / isotonic 方法。

GAUC:把比较范围放回一个组里

全局 AUC 可能被跨用户比较撑高,掩盖各用户内部排序失败。看下面完整的 20 条人为数据:每行代表具有相同标签和分数的若干条记录。

20 条记录:A、B 各自的正例都比负例分数低
用户标签条数预测分数
A正例 190.8
A负例 010.9
B正例 110.1
B负例 090.2

共 10 个正例、10 个负例,形成 100 对比较。A 的 9 个正例都高于 B 的 9 个负例,贡献 81 对;其余对全错,因此全局 AUC=0.81,两个用户内的 AUC 却都是 0。

GAUC先在各组内算 AUC,再按指定权重平均。下面让 u 表示组ID,G只包含同时有正例和负例的有效组;本例权重 wu是该组记录数。

本页三条公式中,带点状下划线的组合可点击查看它在当前式中的作用;键盘可用Tab到达,再按Enter或空格。每式下方也有解释目录。

$$\mathrm{GAUC}=\frac{\sum_{u\in\mathcal{G}}w_u\,\mathrm{AUC}_u}{\sum_{u\in\mathcal{G}}w_u}.$$

分子把“该组 AUC × 该组权重”加起来,分母只加这些有效组的权重。如果 G 为空,分母为 0,GAUC未定义;这和“有效组恰好全部排反,GAUC=0”不同。

分组也属于协议:按用户跨一段时间汇总,仍可能比较该用户不同请求中的物品;按请求分组更贴近单次候选排序,但可能有更多只有一种标签的组。选择与当前问题对应的分组,并披露权重、跳过组数与记录比例。

独立入口 1:返回 GAUC,也返回哪些组被跳过

这一段需要 NumPy 与 scikit-learn。输入是等长的一维组ID、0/1标签和有限实数分数;输出包含指标及有效/跳过数量。它另用5 条记录演示:u1排对、u2排反、u3只有正例,不是上面20条反例的同一组输入。

import json
from numbers import Integral
import numpy as np
from sklearn.metrics import roc_auc_score


def gauc(group_ids, y_true, y_score):
    """二元标签;按可算组的记录数加权。组可以是用户或请求,须事先固定。"""
    if isinstance(group_ids, (str, bytes)):
        raise ValueError("请传组ID列表,而不是单个字符串")
    ids = list(group_ids)
    y = np.asarray(y_true)
    scores = np.asarray(y_score)
    if y.ndim != 1 or scores.ndim != 1 or len(ids) != len(y) or len(y) != len(scores):
        raise ValueError("组ID、标签、分数必须是一维且等长")
    if y.dtype.kind not in "biuf" or scores.dtype.kind not in "biuf":
        raise ValueError("标签和分数必须是实数数组,不能是文本或复数")
    y, scores = y.astype(float), scores.astype(float)
    if not np.isfinite(y).all() or not np.isin(y, [0, 1]).all():
        raise ValueError("标签只能是有限的0或1")
    if not np.isfinite(scores).all():
        raise ValueError("预测分数必须有限;不要求是概率")

    groups = {}
    for i, group_id in enumerate(ids):
        # 不把数字1与字符串'1'合并,也不把NaN当成一个正常组。
        if isinstance(group_id, str) and group_id:
            key = ("str", group_id)
        elif isinstance(group_id, Integral) and not isinstance(group_id, (bool, np.bool_)):
            key = ("int", int(group_id))
        else:
            raise ValueError("组ID必须是非空字符串或整数,不能缺失")
        groups.setdefault(key, []).append(i)

    weighted_auc = 0.0
    eligible_records = eligible_groups = 0
    for indices in groups.values():
        labels = y[indices]
        if np.unique(labels).size < 2:  # 只有正例或只有负例,无法计算组内AUC。
            continue
        weight = len(indices)
        weighted_auc += weight * float(roc_auc_score(labels, scores[indices]))
        eligible_records += weight
        eligible_groups += 1

    return {
        "status": "ok" if eligible_records else "no_eligible_groups",
        "gauc": weighted_auc / eligible_records if eligible_records else None,
        "groups": len(groups),
        "eligible_groups": eligible_groups,
        "skipped_groups": len(groups) - eligible_groups,
        "records": len(y),
        "eligible_records": eligible_records,
        "skipped_records": len(y) - eligible_records,
    }


# u1排序正确,u2排反;u3只有正例,要报告跳过,而不是给它AUC=0。
print(json.dumps(gauc(["u1", "u1", "u2", "u2", "u3"],
                      [0, 1, 0, 1, 1], [.1, .9, .9, .1, .8]), allow_nan=False))
print(json.dumps(gauc(["u3", "u3"], [1, 1], [.2, .8]), allow_nan=False))

实际运行:第一例GAUC=0.5;3组中2组参与,跳过1组、1/5条记录。第二例没有有效组,状态为no_eligible_groups,数值为null(Python中是None),不是0。

汇报一个 GAUC 时,把这些覆盖信息一起报出。只给“0.5”,读者看不出第三个用户是否被跳过;只给“0”,也分不清排序失败还是没有可计算的组。

NDCG:相关度相同,靠前与靠后有区别

Precision@10只数十个位置里命中多少项,不区分命中在第一位还是第十位。需要考虑位置和相关度等级时,可以使用NDCG。

本页采用指数增益约定:相关度 rel=0、1、2、3分别产生增益0、1、3、7。先把前 K 个位置的增益折损后相加:

$$\mathrm{DCG}@K=\sum_{i=1}^{K}\frac{2^{\mathrm{rel}_i}-1}{\log_2(i+1)}.$$

i从1开始数位置;分子是该位置物品的增益,分母让后面的贡献变小。如果返回不足 K 项,没有返回的位置贡献0。真实返回列表不能靠重复同一物品增加得分。

再用同一份完整合法候选集合构造理想前 K 项,算出 IDCG,最后相除:

$$\mathrm{NDCG}@K=\frac{\mathrm{DCG}@K}{\mathrm{IDCG}@K}.$$

这里相关度非负,IDCG>0时结果在0到1之间。完整候选集合为空或没有正相关项时,本页代码约定记0并分别标记状态;汇总时要事先说明是否纳入这些请求。这项零值约定不能搬到未定义的 GAUC 上。

同一候选集合 a、b、c,K=2
物品真实相关度当前是否返回
a2第1项
b0第2项
c3未返回,但仍在候选里

当前列表[a,b]的DCG为3,理想列表[c,a]的IDCG约8.89279,所以NDCG约0.33735。若误把候选字典缩成只含[a,b],分母也变成3,得到1;那是换了问题,不是模型突然完美了。

独立入口 2:把返回顺序与完整候选标签分开传入

这段只用 Python 标准库。ranked_ids给实际返回顺序,relevance_by_id给事先固定的完整候选标签。代码能拒绝重复、未知ID和非有限相关度,但不能自动知道你是否漏传了一个合法候选。

import json
import math
from numbers import Integral, Real


def ndcg_at_k(ranked_ids, relevance_by_id, k=10):
    """固定完整候选标签;ranked_ids是实际返回顺序,允许少于K项。"""
    if isinstance(k, bool) or not isinstance(k, Integral) or k < 1:
        raise ValueError("k必须是正整数")
    k = int(k)
    if not isinstance(relevance_by_id, dict):
        raise ValueError("完整候选标签须为字典,ID须是非空字符串")
    if isinstance(ranked_ids, (str, bytes)):
        raise ValueError("请传ID列表,而不是单个字符串")
    ranked_ids = list(ranked_ids)
    candidate_ids = list(relevance_by_id)
    if any(not isinstance(item, str) or not item for item in candidate_ids + ranked_ids):
        raise ValueError("候选ID和返回ID必须是非空字符串")
    if len(set(ranked_ids)) != len(ranked_ids):
        raise ValueError("返回列表不能重复同一物品")
    if any(item not in relevance_by_id for item in ranked_ids):
        raise ValueError("返回物品必须属于事先固定的完整候选集合")

    gains = {}
    for item, relevance in relevance_by_id.items():
        if isinstance(relevance, bool) or not isinstance(relevance, Real):
            raise ValueError("相关度必须是非负有限数值")
        try:
            r = float(relevance)
            if not math.isfinite(r) or r < 0:
                raise ValueError("相关度必须是非负有限数值")
            if r >= 1024:  # 双精度浮点不能表示2**1024。
                raise ValueError("指数增益超出本示例的浮点范围")
            # expm1(r*ln2)就是2**r-1;小相关度时避免直接相减损失精度。
            gains[item] = math.expm1(r * math.log(2.0))
        except OverflowError as error:
            raise ValueError("指数增益超出本示例的浮点范围") from error
        if not math.isfinite(gains[item]):
            raise ValueError("指数增益必须有限")

    def discounted_sum(values):
        try:
            total = math.fsum(gain / math.log2(position + 2)
                              for position, gain in enumerate(values))
        except OverflowError as error:
            raise ValueError("累计增益超出本示例的浮点范围") from error
        if not math.isfinite(total):
            raise ValueError("累计增益必须有限")
        return total

    dcg = discounted_sum([gains[item] for item in ranked_ids[:k]])
    idcg = discounted_sum(sorted(gains.values(), reverse=True)[:k])
    # 本页约定:完整候选无正相关项时记0,并单独标记,便于汇总时披露。
    status = "empty_candidates" if not gains else ("ok" if idcg > 0 else "no_relevant_candidates")
    return {"ndcg": dcg / idcg if idcg > 0 else 0.0, "status": status,
            "dcg": dcg, "idcg": idcg,
            "returned_at_k": min(k, len(ranked_ids)), "candidates": len(gains)}


# c虽然没被返回,仍是候选;它的相关度3必须参与理想列表。
relevance = {"a": 2, "b": 0, "c": 3}
print(json.dumps(ndcg_at_k(["a", "b"], relevance, k=2), allow_nan=False))
print(json.dumps(ndcg_at_k(["c", "a"], relevance, k=2), allow_nan=False))

实际运行:[a,b]的NDCG@2=0.33735197,DCG=3、IDCG=8.89278926;改为理想顺序[c,a]后为1。两次都使用同一份3物品候选字典。

本实现按调用方已经确定的顺序评分,不自行处理模型同分;若同分影响排列,要预先统一并列规则。scikit-learn NDCG直接折损传入相关度,并有自己的并列处理约定;不能把其默认线性增益结果当成本页指数增益的同值答案。

各指标速查:指标名后面还要带协议

用于选择指标,不是跨数据集的排行榜
指标直觉使用前明确
Recall@K相关物品有多少进入前K完整正例集合、候选范围;没有正例时如何处理
Precision@K前K展示位里有多少命中返回不足K时分母如何定;例如固定K、缺位算未命中
HitRate@K每个请求前K是否至少命中一次先得到0/1,再在固定请求集合上平均;披露无正例请求
MRR第一个命中位置的倒数没命中记0;是否截断到K及在哪些请求上平均
NDCG@K有等级、有位置折损的列表质量增益形式、完整候选IDCG、并列与零IDCG约定
MAP先算每个请求的平均精确率AP,再平均只在命中位置累计Precision;正例分母与截断约定
AUC / GAUC正例是否比负例分数高,同分计半比较范围、组权重、单类组和跳过覆盖
LogLoss真实结果得到的概率是否合理标签、概率范围、样本权重;不把它当纯校准误差

AP小例子:完整排序的命中标记为[0,1,0,1],共有2个正例。命中只出现在第2、4位,两处Precision都是0.5,所以AP=(0.5+0.5)/2=0.5。不是把所有四个位置的Precision平均;MAP才是再跨请求平均这些AP。

🕳️ 离线评估的五个陷阱

指标公式算对,只解决“怎样计分”。下面检查测试数据是否真能回答你问的问题。

1. 时间切分不等于已经没有泄漏

把未来行为或上线时拿不到的特征交给模型,会让评估失真。按时间切分通常比随机打散更符合未来预测任务,但还要检查特征生成时间、训练截止点、物品何时可用,以及每个用户的历史窗口。

每用户留最后一次(Leave-One-Out)只规定了用户内的留出方式,不自动保证所有用户之间的全局时间边界。先画清“预测发生时到底已知道什么”,再生成样本。

2. 采样评测换了候选问题

只采100个随机负例,通常比在更大候选集合里找目标容易,也可能改变模型之间的比较。不能据此断言每种采样、每个指标都按相同幅度虚高。

能在完整合法候选上评估时,保持相同协议;做不到就披露负例分布、数量、是否有放回、随机种子和汇总范围。全库也不是天然正确:预测时还没发布、已失效或业务不允许展示的物品,不该混进合法候选。

3. 曝光偏差:没展示过,不等于不喜欢

历史点击日志主要告诉你:旧系统已经展示的物品上,用户做了什么。未展示物品缺少对应反馈;把它们全部当成负例,会混淆“没机会看见”和“看见但不喜欢”。

离线预测评估仍有价值,但“在已观测曝光上预测得好”不等于“新策略带来的收益更高”。它也不只是测试模型像不像旧模型。

  • 探索流量:按安全且已知的随机化规则收集反馈。没有通用的1%配额,随机曝光也不自动让所有目标人群和场景都无偏。
  • 反事实评估 / Off-Policy Evaluation:用旧策略数据估计新策略价值。IPS使用曝光概率作加权;Doubly Robust结合奖励模型和概率加权。需要支持覆盖、正确记录及相应识别假设,不能凭方法名补出从未观察过的行为。

这些方法解决的是有条件的估计问题,可从Doubly Robust原论文继续读起。

4. 位置偏差:排得靠前,本来就更容易被看见

点击中混合了内容吸引力与位置带来的被看见机会。位置特征可以参与建模,但“训练时加入位置、预测时统一填一个值”不自动等于完成因果消偏。

需要结合任务、日志与实验设计判断位置影响;例如反事实学习排序的原论文使用倾向加权处理偏差。先确认假设和曝光概率能否成立,再选择实现。

5. 总体平均值会掩盖谁变好了、谁变差了

保留新/老用户、活跃度、热门/长尾物品与不同类目的分组观察。总体提升可能来自人群比例变化,也可能伴随某些群体受损。

关键分组和分析规则尽量事先确定,并报告样本量与不确定性;事后不断切分直到找到显著结果,又会引入多重比较问题。

🧪 A/B 实验:比较新策略带来的改变

先定义人、分组、观察窗和分母

对照组继续旧策略,实验组使用新策略。随机分配让两组在重复实验的意义上可比较;稳定分配让同一单位在实验期间保持同一组。下面以用户为分配单位,其他设计还可能用设备、组织或群组。

  1. 谁能进入实验?事先定义合格用户和进入时点,不在看到实验结果后挑人。
  2. 观察什么?例如每名用户进入后固定7×24小时内是否完成一次转化。这个二元结果不同于重复曝光的CTR,也不同于只看第7天当天是否回访。
  3. 怎样比较?采用相同记录和分析规则,按事先计划处理滚动入组与未成熟观察窗;不能只统计最后还活跃的人。
  4. 何时决策?预先指定样本量、观察期、主指标、护栏和停止方法。数据异常、证据不足、确认损害、收益达标不是同一种结论。
A/B 实验的稳定分组、质量检查与四类决策 事先定义合格用户、指标、观察窗和分流比例。用户稳定随机进入继续老策略的对照组或使用新策略的实验组;两组按同一规则记录。先核对分流与数据,数据可信才解释差值、区间及护栏。数据异常时先排查;证据不足时按预定规则继续或结束;确认损害时停止或回滚;收益与护栏均达标后评审并逐步放量。百分之五十只是此图的分配示例,不要求人数精确相等。 先确认能比较,再判断该不该放量 图中按用户分组;同一用户在实验期间保持同一组。 事先定义:哪些用户、看什么、观察多久 同时约定分流比例、分析与停止规则 对照组 A:继续老策略 稳定随机分配,例如 50% 人数不要求恰好一半 实验组 B:使用新策略 同一套资格、记录和分析规则 按预定观察窗完整记录 先核对分流与数据质量 数据可信,才解释:差值多大、区间多宽、护栏是否通过 数据异常证据不足 确认损害收益与护栏达标 先排查与修复暂不解释效果 按预定规则继续或结束 按安全规则停止或回滚 经过评审逐步放量并观察 没有“一到第 7 天”或“p 小于 0.05 就直接全量”的自动捷径。
先看汇合处:同一规则下比较两组,先过数据质量检查,再解释效应。50/50 只是示例;观察时长、护栏和停止规则要在实验前定义,四个出口不代表对所有实验都适用的自动决策器。

50/50只是常见的分配示例,不要求实际人数恰好相等。若观察到的比例与预期偏离到难以用随机波动解释,就要排查SRM(样本比例失衡)及日志链路,而不是直接读效果。Microsoft的SRM分类研究将它视为多种数据质量问题的信号,不是单一错误的名称。

独立入口 3:同一个实验、同一个用户,保持同一个桶

这段只用标准库。盐值是参与哈希的实验标识;本例用exp_id兼任,实验期间保持不变。输入限定非空字符串,使用JSON序列编码两项,再做SHA-256与取模。

import hashlib
import json


def bucket(exp_id, user_id):
    """同一实验盐值和用户ID稳定分桶;本例两者均为非空字符串。"""
    if not isinstance(exp_id, str) or not exp_id or not isinstance(user_id, str) or not user_id:
        raise ValueError("exp_id和user_id必须是非空字符串")
    # JSON序列区分('a_b','c')与('a','b_c'),不用含糊的下划线拼接。
    payload = json.dumps([exp_id, user_id], ensure_ascii=False,
                         separators=(",", ":")).encode("utf-8")
    number = int.from_bytes(hashlib.sha256(payload).digest(), "big") % 100
    return {"bucket": number, "group": "treatment" if number < 50 else "control"}


# exp_id兼作实验盐值;实验期间保持不变,避免用户中途换组。
for exp_id, user_id in [("demo-v1", "u001"), ("demo-v1", "u001"),
                        ("a_b", "c"), ("a", "b_c")]:
    print(json.dumps({"ids": [exp_id, user_id], **bucket(exp_id, user_id)}))
# 50/50是目标分配示例;有限样本不保证精确各半,独立分桶不证明效果无交互。

实际运行:demo-v1/u001两次都进入60号桶(control);a_b/c与a/b_c分别进入23、18号桶。

序列编码消除了下划线拼接的歧义,例如[a_b,c]与[a,b_c]不再共享同一个拼接键。但只有100个桶,不同ID仍可能同桶;稳定哈希不是精确50/50或实验效果互不影响的证明。

分层实验:流量可以复用,效果仍可能交互

假设有200个实验要排期,完全切成200份流量可能太慢。分层平台把不同模块的实验分配分开管理;同一用户可以同时参加不同层的配置。下面只是流量方案例子:

分配方案,不是三组真实实验结果
层本例配置
召回层配置A 50%,配置B 50%
精排层配置C 30%,对照70%
重排层配置D 20%,对照80%

本例层内配置互斥,层间使用独立的分配随机性。具体哪些配置不能同时生效,由参数冲突和实验设计决定;不是统计学规定所有同层实验永远必须互斥。参见Google的重叠实验基础设施论文。

分配独立,不代表效果没有交互。用一个四格人为例子:两项开关A、B都打开才产生结果Y=1,其他情况Y=0。

A的效果取决于B是否打开
另一项开关A关闭时YA打开时YA的差值
B关闭000
B打开011

因此要登记同时运行的实验;可能交互时,做明确的组合比较(因子实验)或隔离流量,而不是认为换一个salt就自动解决了效果冲突。

主指标、护栏、诊断:名称不是固定角色

主指标:这次主要想改善什么?
例如人均使用时长、次日/7日留存、人均消费内容数、GMV或转化率。通常选择少量明确目标,例如1–2个,并在实验前确定;不能看到哪个显著就改用哪个。
护栏指标(Guardrail):哪些损害不可接受?
例如P99加载延迟、崩溃率/错误率、内容多样性、举报率/负反馈率、新创作者曝光,以及非收入实验中的收入。事先写清方向、可接受损害幅度与安全停止规则。
诊断指标:变化可能发生在哪里?
例如CTR、完播率、点赞率,各召回路贡献占比与类目曝光分布。CTR在某些实验里也可以是主指标或护栏,角色取决于问题。

例如“CTR相对提高3%,延迟增加200ms,举报率相对提高50%”只是一组假设风险数字。不能只看到CTR上涨就宣布成功;若确认触发预定安全门槛,应按规则停止或回滚。反过来,也不能把每个护栏的微小点估计下降都自动认定为确认损害。

没有证据表明变差,不等于已证明足够安全。护栏区间过宽时可能只是证据不足,需要按预定标准继续观察或结束,而不是强行给出上线结论。

统计显著性:先把“涨了多少”的单位说清

假设CTR从5.0%变成5.1%,怎样读出变化的大小?先看数值单位。下方可运行检验使用每用户固定窗内一次是否转化;这是独立二元结果的例子,重复曝光需要另行处理相关性。

5.0% → 5.1%:同一次变化的三种写法
写法计算含义
比例差0.051−0.050=0.001代码difference的单位
百分点0.001×100=0.1增加0.1个百分点
相对提升0.001÷0.050=0.02相对基线增加2%,不是2个百分点

效应量描述变化多大;置信区间描述估计的不确定性;p值描述在“真实差值为0”等检验假设成立时,看到当前或更极端统计量有多不寻常。它不是“新策略无效的概率”,也不直接衡量业务价值。

在固定终点、满足假设的检验中,alpha是预先选择的假阳性控制水平,例如0.05。95%区间的覆盖率解释来自重复使用这一程序,不是当前参数有95%的随机概率落在某个范围里;本页使用的是大样本近似。

独立入口 4:两组独立用户的一次二元结果

这段需要SciPy。每位用户在固定观察窗内只记一次0/1,两组用户互不重叠;输入是成功人数和总人数。示例各有100万名用户,分别有5万和5.1万名成功,数字是人工输入,不是日志实测。

代码给出双侧双比例z检验、差值的近似区间,以及相对提升的点估计。相对提升没有在这里计算区间;不能把差值区间除以估计基线,就当成已经处理了随机分母的不确定性。

import json
import math
from numbers import Integral, Real
from scipy.stats import norm


def ab_test(success_a, users_a, success_b, users_b, alpha=0.05):
    """每用户在事先固定窗内只记一次0/1;两组独立,非重复曝光CTR检验。"""
    for success, users in [(success_a, users_a), (success_b, users_b)]:
        if any(isinstance(v, bool) or not isinstance(v, Integral) for v in [success, users]):
            raise ValueError("成功人数与总人数必须是整数")
        if users <= 0 or not 0 <= success <= users:
            raise ValueError("总人数必须为正,成功人数必须在0到总人数之间")
    success_a, users_a, success_b, users_b = map(int, [success_a, users_a, success_b, users_b])
    if isinstance(alpha, bool) or not isinstance(alpha, Real) or not math.isfinite(alpha) or not 0 < alpha < 1:
        raise ValueError("alpha必须在0和1之间且有限")
    critical = float(norm.isf(alpha / 2))
    if not math.isfinite(critical):
        raise ValueError("alpha太小,超出本示例的浮点范围")

    p_a, p_b = success_a / users_a, success_b / users_b
    diff = p_b - p_a
    result = {"control_rate": p_a, "treatment_rate": p_b,
              "difference": diff, "relative_lift": diff / p_a if p_a > 0 else None,
              "alpha": float(alpha), "difference_ci": None,
              "p_value": None, "log_p_value": None, "significant": None, "status": "not_tested"}
    # 本教学实现的保守筛选,不是“达到10就保证近似正确”的定理。
    if min(success_a, users_a - success_a, success_b, users_b - success_b) < 10:
        result["reason"] = "成功或失败人数少于10;本例不做正态近似推断"
        return result

    pooled = (success_a + success_b) / (users_a + users_b)
    se_null = math.sqrt(pooled * (1 - pooled) * (1 / users_a + 1 / users_b))
    se_diff = math.sqrt(p_a * (1 - p_a) / users_a + p_b * (1 - p_b) / users_b)
    if not (math.isfinite(se_null) and math.isfinite(se_diff) and se_null > 0 and se_diff > 0):
        result["reason"] = "标准误退化或超出浮点精度;未执行近似检验"
        return result

    z = diff / se_null
    # sf计算右尾,避免1-cdf相减;log p也保留,便于识别极小p的浮点下溢。
    p_value = float(2 * norm.sf(abs(z)))
    log_p_value = float(math.log(2) + norm.logsf(abs(z)))
    if not math.isfinite(z) or not math.isfinite(log_p_value):
        result["reason"] = "尾部计算超出浮点范围;未返回近似检验结论"
        return result
    result.update(status="normal_approximation", z=z, p_value=p_value,
                  log_p_value=log_p_value, significant=bool(log_p_value < math.log(alpha)),
                  p_value_underflow=(p_value == 0.0),
                  difference_ci=[diff - critical * se_diff, diff + critical * se_diff])
    return result


# 人工例子:各一百万名不同用户,每人固定窗内是否转化。
print(json.dumps(ab_test(50000, 1000000, 51000, 1000000), ensure_ascii=False, allow_nan=False))
print(json.dumps(ab_test(0, 10, 1, 10), ensure_ascii=False, allow_nan=False))
# difference及其区间是比例差;乘100变成百分点。relative_lift只有点估计,非区间。

实际运行:比例差约0.001,相对提升点估计约2%;p≈0.00124147103。95%比例差区间约[0.00039305, 0.00160695],换成百分点是[0.039305, 0.160695]。

第二个稀疏例子返回not_tested,p、区间与显著性判断均为null;不能读成“已检验但没有差异”。统计显著也不是收益达标或应当上线的判定。

合法但稀疏或退化的输入返回not_tested,不是“不显著”。“每组成功与失败至少10”只是本教学实现的筛选条件,不是近似精度保证;稀有事件、聚类结果或比率指标要使用与设计相符的方法。

可选:为什么重复曝光不能当作更多独立用户?

假设每组100人,分别有50、60人成功,近似p约0.1552。如果把每个人相同的结果复制100次,再错误地当成独立曝光,p会缩到约7.57×10−46,但信息没有增加。

用户分流时,同一人的多次曝光可能相关。分析CTR等比率指标,需要与随机化单位一致的方差估计,例如合适的用户级聚类方法;不能只把点击和曝光总数塞进这里的独立二元函数。

独立入口 5:实验前估算每组样本量

MDE是计划希望有能力检出的最小效应幅度;本函数用有符号的相对变化表示。power(检验功效)是指定效应真实存在时,计划检验拒绝零效应假设的概率目标,不是实验必定显著的保证。

本例设定:基线5%、相对MDE为2%(目标5.1%)、双侧alpha=0.05、power=0.8、两组等量。函数使用双侧正态近似样本量公式,需要SciPy。

import math
from numbers import Real
from scipy.stats import norm


def sample_size(baseline_rate, mde, alpha=0.05, power=0.8):
    """等量两组、双侧正态近似;返回每组独立二元结果数,不是重复曝光数。"""
    values = [baseline_rate, mde, alpha, power]
    if any(isinstance(v, bool) or not isinstance(v, Real) for v in values):
        raise ValueError("基线、相对MDE、alpha、power必须是实数")
    try:
        p1, mde, alpha, power = map(float, values)
    except OverflowError as error:
        raise ValueError("输入超出本示例的浮点范围") from error
    if not all(map(math.isfinite, [p1, mde, alpha, power])):
        raise ValueError("所有参数必须有限")
    if not 0 < p1 < 1 or not 0 < alpha < 1 or not 0.5 < power < 1:
        raise ValueError("基线、alpha在(0,1),本教学例限定power在(0.5,1)")
    p2 = p1 * (1 + mde)
    difference = p2 - p1
    if not 0 < p2 < 1 or difference == 0:
        raise ValueError("MDE须产生(0,1)内且不同于基线的目标率")

    # mde是有符号相对变化:.02表示提高2%,不是提高2个百分点。
    z_alpha = float(norm.isf(alpha / 2))  # 与ppf(1-alpha/2)相同,避免尾部相减。
    z_power = float(norm.ppf(power))
    p_bar = (p1 + p2) / 2
    numerator = (z_alpha * math.sqrt(2 * p_bar * (1 - p_bar))
                 + z_power * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2)))
    try:
        n = (numerator / abs(difference)) ** 2
    except OverflowError as error:
        raise ValueError("样本量超出本示例的浮点范围") from error
    if not math.isfinite(n) or n <= 0:
        raise ValueError("无法在本示例的浮点范围内得到样本量")
    return math.ceil(n)


print(sample_size(0.05, 0.02))
# 基线5%→目标5.1%;结果是每组独立用户数的近似规划值,不是工期或功效保证。

实际运行:752703,即每组约75万名独立用户的二元结果;不是两组总数,也不是重复曝光量。

单位是每组独立二元结果;在前面的设计里对应用户,不自动对应重复曝光。该数字是近似规划值,还要考虑入组速度、观察窗成熟、样本流失与实际设计。

本例允许预先计划检测下降,但目标率仍须在0和1之间,且不能与基线相同;power范围(.5,1)是本教学接口的限制。若预计要积累3个月,不该看到数据后改挑容易显著的指标,而应事先重新讨论可检测效应、流量、周期、敏感性与业务取舍。

七类实验陷阱:怎样发现,下一步做什么?

  1. 偷看结果(Peeking)。

    每天看一次、一显著就停,会破坏固定终点检验的错误率控制;没有通用的“必升到30%+”。采用预定终点,或从一开始使用合法的序贯检验/置信序列;安全监控也要有自己的停止规则。

  2. 多重比较。

    看50个指标或反复切群,偶然显著更容易出现。先区分主分析与探索分析,再按目标选择错误率控制方法;Bonferroni是其中一种,不是唯一方案。

  3. 新奇效应与周期。

    新东西可能短期吸引注意,也可能需要适应。完整周有助于覆盖周内周期,但一周不能保证新奇效应消失;根据指标成熟时间与预定观察期解释趋势。

  4. 分流或数据异常。

    检查SRM、身份稳定、资格过滤、埋点丢失和重复日志;结合A/A校验。一次A/A显著不直接等于系统bug,先判断随机误差、数据问题和分析假设。

  5. 网络干扰。

    实验组可能影响对照组,例如社交关系或供需市场。可以考虑群组随机化、时间片轮转等设计,但要处理组内相关、时间趋势与残留影响;换一种分流方式不是自动修复。

  6. 只保留“留下的人”。

    按实验后的活跃或成功状态筛人,会破坏原本可比的分组。依入组资格、固定观察窗和预定分析规则确定分母;滚动入组不能机械使用实验第一天的全部用户。

  7. 只看短期。

    短期点击不能替代长期体验。可以安排长期对照和成熟指标;标题党短期好、长期坏是一种风险例子,不是所有策略必然如此。长期设计本身也需要检查。

A/A:校验实验系统,不是一次显著就定罪

A/A仍随机分两组,但两组运行完全相同的策略。它可以帮助检查分流、日志、指标与统计分析链路,是上线前及持续维护中的重要验证工具。

如果使用有效的5%水平检验,真实没有差异时仍允许偶然拒绝。一次显著应触发检查,而不是立刻宣布系统一定有bug。重复或模拟A/A可以帮助观察p值行为与异常模式;离散、稀疏数据还要考虑检验的具体分布,不能要求任何情况下都精确均匀。

Microsoft的模拟A/A实践展示了这种诊断思路。后续实验、指标和埋点仍需持续质量检查。

Holdback:保留长期对照,不等于反转实验

Holdback是在推进新策略时保留一部分符合设计要求的对照,观察较长期的影响。1–5%可以是某次方案的起点例子,不是固定配额;比例和期限要结合统计能力、成本、伦理与安全决定,不能说“永远跑老策略”。

反转实验则涉及把已改变的策略切回去,是不同设计;要考虑用户学习与其他残留效应。长期效果不只有一种研究办法,长期实验也会遇到流失、身份不稳定和网络干扰。参见长期在线实验的局限研究。

🔄 离线涨、线上没涨:按链路排查

假设离线AUC提高0.003(0.3个百分点),线上CTR点估计没明显变化。先确认比较口径和不确定性,再解释模型收益,不把这个现象自动归咎于某一种原因。

  1. 特征是否穿越?离线是否使用预测时拿不到的未来信息?回到特征生成时间和全局切分边界。
  2. 同一请求是否算出一致结果?对齐模型版本、预处理、特征缺失值与实际输入,再比较打分和排序。
  3. 候选集合是否不同?离线小样本候选与线上合法候选是否对应?物品可用时间和过滤规则是否一致?
  4. 约束是否不同?线上多样性、频控、广告槽或业务插入,是否已在离线端到端评估中体现?
  5. 人群和时段是否变化?历史全量与当前时段、新老用户或类目比例可能不同,检查预定分组。
  6. 统计能力是否足够?观察窗是否成熟?区间有多宽,是否包含无效或不可接受损害?“没显著”不自动表示等效。

第二项叫一致性校验(Consistency Check),适合做成上线前自动检查。例如抽取1000条有代表性的线上请求,在离线环境重放,保存可定位的差异。

容差须对应dtype、量化、算子、预处理与模型版本,并检查实际排序影响;差异超过1e−5不是所有系统通用的判错标准。定位到链路问题先修复,再判断模型价值。

🔗 这一章连到哪里

去哪带着什么问题继续
上线之后 12进一步理解重复查看结果、SRM和多重比较,选择与实验设计对应的分析方法。
上线之后 13无法进行合适随机实验时,DID、合成控制、断点回归各依赖什么识别假设?它们不是无条件替代品。
上线之后 14分组都改善而总体变差可能怎样发生?从人群权重与汇总方式继续看。

✅ 检查点

  1. AUC和GAUC比较的样本对有什么不同?按用户与按请求分组又有什么区别?
  2. NDCG比Precision@K多考虑什么?为什么理想列表不能只用返回的Top-K?
  3. 什么是曝光偏差?它怎样限制离线预测评估对新策略价值的解释?
  4. 护栏指标是什么?举3个例子,并说明如何判断是否越界。
  5. A/A用于检查什么?一次显著为何不直接证明分流有bug?
  6. “一显著就停”为什么危险?有什么合适的设计办法?
  7. 离线涨、线上不涨,你会按什么顺序排查?
👀 答案
  1. 全局AUC包含跨组正负对;GAUC只在各有效组内计算后按指定权重平均。按用户跨时间仍可能跨请求比较,按请求更贴近单次候选。应披露权重与跳过覆盖;没有有效组是未定义,不是0。
  2. NDCG增加位置折损与相关度等级。IDCG要从同一完整合法候选集合中找理想前K项;只保留返回项会改变分母,把漏掉高相关物品的损失藏起来。两指标服务不同目标。
  3. 日志反馈依赖旧系统曾经展示什么,未展示不等于负例。在已观测曝光上预测得好,不足以证明新策略收益更高。探索和反事实方法需要设计与假设,不自动消除全部偏差。
  4. 护栏约束不可接受损害,例如P99延迟、崩溃率、举报率。方向、允许损害和安全停止标准要事先定;结合区间与数据质量区分确认越界、证据不足和通过。
  5. 两组运行相同策略,校验分流、日志、指标和分析链路。有效检验仍可能偶然显著,应结合SRM、埋点和重复验证排查;一次不显著也不能证明系统永远正确。
  6. 反复查看并按显著性停止,不再符合原固定终点检验的错误率控制。可预定终点,或事先选用合法的序贯方法;不能拿一个固定“30%+”替代具体分析。
  7. 依次检查时间泄漏、特征与模型链路一致性、候选、线上约束、人群时段和统计能力。重放请求时使用与数值实现匹配的容差,并分析差异对排序的影响。

本节回顾

⚡ 走神救援

先记住这几件事

  • 离线评估要对应各层任务,并检查时间、曝光和位置带来的偏差。
  • 实验开始前确定分流、样本量、观察周期及护栏。
  • 离线与线上结论不一致时先查链路和特征一致性,再解释模型收益。

现在可以用自己的话说明:指标在比较哪些记录,实验在比较哪些人,数字差异又有多不确定。要继续了解新物品和新用户没有足够反馈时怎么办,去下一节。

下一节 👉 13 · 冷启动与探索利用

打卡记录保存在你的浏览器里,首页能看到总进度