🏠 总目录📚 本教程 11 · 重排与多样性 ← →
📑 本页目录(点开跳转)

11 · 重排与多样性

推荐算法 / 11

每个物品都高分,整份列表就合适吗?

保留原篮球榜、MMR、DPP 与硬约束图,按列表目标和约束分别查阅。

能区别去冗余、集合关系和硬规则,并找到三个独立教学实现。

⏱ 主线阅读约 20 分钟 | ⭐ 核心 | 🔨 有代码;代码实验另留时间

🎯 一句话

精排看每个物品的分数,重排还要看这一整份列表是否合适。即使每个物品单独看都不错,放在一起也可能重复、挤占其他兴趣,或违反曝光和合规规则。

先看篮球榜的例子;想动手,去 MMR、硬约束打散或 ILD 指标。三个代码入口互不依赖,只是小型教学实现,不是线上推荐效果的复现。

精排分数很高,为什么还要重排?

假设系统知道你喜欢篮球,精排把下面这些物品放到前面。这里的分数是人为示例,不代表某个模型的真实输出,也不默认就是校准后的点击概率。

原来的篮球榜:单项都相关,组合却可能重复
位置内容精排分数
1篮球集锦0.92
2篮球教学0.91
3篮球比赛0.90
4篮球新闻0.89
5篮球鞋测评0.88
6–9原例省略的其他篮球内容…
10篮球训练0.83

你可能会想:“我喜欢篮球,但这屏怎么全是篮球?”随后划走、退出,甚至下次不再打开,是一种可能的反应,不是相似内容必然导致的结果。有明确购鞋或比赛观看目标的人,也可能正需要集中比较同类内容。

  • 边际效用:多放一个物品带来的额外价值。第五条重复集锦的额外价值可能小于第一条,不能把每个单项分数简单理解成互不影响的收益。
  • 兴趣覆盖:用户可能同时喜欢篮球、健身和美食;一屏只覆盖一个兴趣,会错过另一些可能有用的内容。
  • 发现新兴趣:如果始终只曝光已知偏好,就较难获得其他兴趣的反馈;这是一种反馈风险,不等于用户永远不会主动探索。

准确性与多样性不是固定输赢关系。要先定义这里的“好”:点击、观看质量、购物比较、创作者曝光,还是长期体验?多样性可以是目标、约束或一个诊断指标,不能只用一个数字代替全部判断。

重排通常在做什么?

用一个预算帮助理解:从 50 个候选里组织推荐列表,希望额外处理不超过 10 ms。这是任务设定,不是下方 Python 的实测时延。先区分不能违反的约束和尽量满足的偏好,再决定优先级。

① 过滤:不应进入列表的先排除

  • 按业务策略去掉已看、已买或重复内容;复购场景不能机械地永久屏蔽所有已买商品。
  • 去掉违规内容、用户屏蔽项、被屏蔽的作者或话题。
  • 执行频次上限,例如同一物品一天最多曝光 3 次;达到上限后不再进入本次候选。

合规和用户明确屏蔽属于硬约束,不应为了凑满一屏偷偷放回。

② 多样性:决定什么叫“不要太挤”

  • 例如不连续出现 3 个同类目物品。
  • 例如同一作者每屏最多出现 2 次。
  • 相似标题或封面尽量隔开。

这些可以被产品定义为硬上限,也可以只是软偏好;两种实现的失败处理不同。下方 scatter 明确采用硬约束。

③ 业务安排:保留位置与扶持策略

  • 广告位置可以预留为第 4、12、20 位;这是更长 feed 的位置例子,不是把它们都塞进一屏 10 项。
  • 运营插入、新内容和新创作者的曝光扶持。
  • 新闻等时效内容可有新鲜度权重。

插入之后仍要检查约束,不能在最后一步把前面过滤和打散的结果破坏掉。

④ 体验:检查整屏是否可用

  • 首条可以要求较高置信度,而不是为了不同而随便放一条。
  • 不要把低质量内容过早放到用户面前;先明确质量和阈值如何定义。

如果约束互相冲突,返回不足和原因,或交给明确的策略处理;“一定凑满”不能覆盖合规与用户选择。

下面的选取函数假定入口的硬过滤已经完成,只实现各自声明的重排规则;它们不读取真实曝光日志,也不代替广告槽、违规内容或用户屏蔽系统。

MMR:相关性与去冗余

MMR(Maximal Marginal Relevance)每次挑一个“够相关、又不太重复”的候选。相关性衡量物品对当前用户或请求有多合适;冗余衡量它与已经选入的物品有多像。

λ(读作 lambda)是相关性与去冗余的相对权重,取 0 到 1。λ 越大,当步越偏重相关性;越小,越偏重去冗余。本例首项始终按相关性最高初始化,包括 λ=0。

现在另用独立的三个候选观察第二项:0 是篮球集锦 #1,1 是篮球集锦 #2,2 是足球进球集锦,相关性为 1、.9、.8;与首项 0 的相似度分别规定为 .9(候选 1)和 .1(候选 2)。它不是前面十项篮球榜的截取;分数和相似度都是教学数值,不是 CTR,分类名也不决定这些相似度。

同一组输入,调 λ 不一定每次都换列表 本图使用本页代码的三个候选,相关性分数为1、0.9、0.8。首项始终为索引0,包括lambda为0时。三行lambda为1、0.5、0,输出索引分别为0和1、0和2、0和2。物品名称是教学标签,不能据类目自动推断相似度。 同一组输入,调 λ 不一定每次都换列表 独立小例:3 个候选,选 2 个;不是前文 10 项榜单的截取。 本页代码的约定:首项总按相关性选,λ = 0 也一样。 λ = 1 位置 1 · 索引 0 篮球集锦 #1 位置 2 · 索引 1 篮球集锦 #2 λ = 0.5 位置 1 · 索引 0 篮球集锦 #1 位置 2 · 索引 2 足球进球集锦 λ = 0 位置 1 · 索引 0 篮球集锦 #1 位置 2 · 索引 2 足球进球集锦 仍相同 看第二项:后两行相同,调权重不等于每次都改列表。 这里只比较算法选项,不预言点击率、兴趣或留存效果。
先看第二项:λ = 0.5 与 λ = 0 选出同一条。类别名称仅用于识别物品,给定分数和相似度见就近正文与代码。
首项已经选 0:不同 λ 下,第二项的分数与结果
λ候选 1 的分数候选 2 的分数两项结果
1.9.8[0,1]
.50.35[0,2]
0−.9−.1[0,2]

设 R 是本轮候选集合,S 是已经选出的前缀所含物品。S 非空时,分三步读:先算最大冗余 r(i),再算当步选择分数 v(i),最后从尚未选中的候选里取分数最大的项。

公式中带点状下划线的组合可以点击;键盘可用 Tab 到达,再按 Enter 或空格。每式也有“解释目录”作为触屏和键盘备用入口。

$$r(i)=\max_{j\in S}\mathrm{sim}(i,j).$$
$$v(i)=\lambda\,\mathrm{rel}(i)-(1-\lambda)r(i).$$
$$i^\star=\arg\max_{i\in R\setminus S}v(i).$$

r(i) 只看最像的那个已选物品;v(i) 是奖励减惩罚的选择分数,不是点击概率。例如已经选了 0,候选 1 的相关性 .9、冗余 .9,候选 2 为 .8、.1;λ=.5 时两者 v 分别为 0 和 .35,所以选 2。

  • 第一项奖励相关性;第二项惩罚它与已选物品中最相似的那一个。
  • λ=1 时后续只按相关性选;λ=0 时后续只按去冗余选。本例的首项始终按相关性最高初始化,因为空集合里还没有可比较的已选物品。
  • 例如可以试 λ=.7、.8、.9,观察自己数据上的结果;这不是通用最佳范围。分数尺度变了,相同 λ 的含义也会变。

降低 λ 只是让当步选择相对更重视去冗余,不保证平均 ILD、覆盖率、点击或留存单调变化。它是贪心选择,不是对所有可能列表做全局最优搜索。MMR 的原始作者文献。

独立入口 1:能说明“为什么没有返回足量”

把整块保存成一个 Python 文件,在装有 NumPy 的环境中运行即可。scores 为 N 个相关性分数,sim_matrix[i,j] 为物品 i 对已选物品 j 的相似度。代码要求有限实数和正确形状;MMR 本身不要求这里的业务相似度必须是 DPP 的半正定核。

indices 是输入数组中的索引;unfilled 是离 k 还差几项;reason 区分完成与候选不足。严格同分按较小输入索引;空库不会生成假索引,NaN/Inf 或非法参数会报错。数值运算溢出也不会被解释成“无候选”。

from numbers import Integral, Real
import numpy as np


def mmr(scores, sim_matrix, k=10, lam=0.8):
    """返回索引与不足原因;首项按相关性,同分始终按较小输入索引。"""
    if isinstance(k, bool) or not isinstance(k, Integral) or k < 0:
        raise ValueError("k 必须是非负整数")
    if (isinstance(lam, bool) or not isinstance(lam, Real)
            or not np.isfinite(lam) or not 0 <= lam <= 1):
        raise ValueError("lam 必须是 [0,1] 内的有限实数")
    scores, sim_matrix = np.asarray(scores), np.asarray(sim_matrix)
    if scores.ndim != 1 or sim_matrix.shape != (scores.size, scores.size):
        raise ValueError("需要 scores:(N,) 和 sim_matrix:(N,N)")
    for array in (scores, sim_matrix):
        if not np.issubdtype(array.dtype, np.number) or np.iscomplexobj(array):
            raise ValueError("分数和相似度必须是实数数组")
    scores, sim_matrix = scores.astype(float), sim_matrix.astype(float)
    if not np.isfinite(scores).all() or not np.isfinite(sim_matrix).all():
        raise ValueError("分数和相似度不能含 NaN/Inf")

    n = len(scores)
    selected, available = [], np.ones(n, dtype=bool)
    max_similarity = np.full(n, -np.inf)
    for step in range(min(k, n)):
        if step == 0:  # 即使 lam=0,首项仍用明确约定的相关性种子
            values = scores.copy()
        else:
            with np.errstate(over="raise", invalid="raise"):
                values = lam * scores - (1 - lam) * max_similarity
        best = int(np.argmax(np.where(available, values, -np.inf)))
        selected.append(best)
        available[best] = False
        max_similarity = np.maximum(max_similarity, sim_matrix[:, best])
    reason = "complete" if len(selected) == k else "insufficient_candidates"
    return {"indices": selected, "requested": int(k),
            "unfilled": int(k) - len(selected), "reason": reason}


def main():
    scores = np.array([1.0, 0.9, 0.8])
    similarity = np.array([[1, .9, .1], [.9, 1, .1], [.1, .1, 1]])
    base = mmr(scores, similarity, k=2, lam=.5)
    scaled = mmr(scores * 10, similarity, k=2, lam=.5)
    assert base["indices"] == [0, 2] and scaled["indices"] == [0, 1]
    print("原尺度 / 分数乘10:", base["indices"], scaled["indices"])
    print("请求5项:", mmr(scores, similarity, k=5))
    empty = mmr(np.empty(0), np.empty((0, 0)), k=2)
    assert empty["indices"] == [] and empty["unfilled"] == 2
    assert mmr([1., 2., 3.], np.eye(3), k=2, lam=0)["indices"] == [2, 0]
    assert mmr([1., 1.], np.eye(2), k=2, lam=1)["indices"] == [0, 1]
    try:
        mmr([np.nan], np.eye(1), k=1)
    except ValueError:
        print("空库、lambda端点、同分与NaN检查通过")
    else:
        raise AssertionError("NaN 应被拒绝")


if __name__ == "__main__":
    main()

本次 NumPy 2.3.5 实跑:λ=.5 时,原分数选 [0,2];仅把相关性分数乘 10,变成 [0,1]。分数的排序没变,但它相对冗余惩罚的分量变了——这是为什么不能脱离尺度谈 λ。

请求 5 项时只返回库中的 [0,2,1],明确还差 2 项,原因是 insufficient_candidates。这些是三个候选的接口检验,不是推荐准确率或线上效果实验。

代码缓存“每个候选与已选集合的最大相似度”,有现成矩阵后选择阶段约 O(Nk);相似度矩阵本身仍需约 O(N²) 存储。MMR 简单、可解释,但只用最相似的一对作为冗余代理,不能代表整份列表的所有关系。

DPP:用集合的几何关系建模

DPP(Determinantal Point Process,行列式点过程)给集合分配权重,再用这些权重定义概率。它可以同时考虑物品质量和一组特征向量是否过于重复。实际重排常用近似方法挑高权重集合;挑选和随机采样是两件事。

一种构造是把每个物品的单位方向向量 φᵢ 乘以非负质量值 qᵢ,再把这些向量的内积组成 L。qᵢ 越大,向量越长;方向表示这里选用的内容特征。这个 Gram 矩阵就是“把向量两两做内积得到的矩阵”。

$$L_{ij}=q_iq_j\langle\phi_i,\phi_j\rangle.$$

qᵢ 是这里设定的质量系数,不是上一章 ANN 的查询向量 q,也不默认等于 CTR 概率。φᵢ 是单位方向向量,长度为 1。下面的 S 改指正在比较的 k 项子集,不是 MMR 逐步选出的前缀。

$$S^\star\in\arg\max_{\substack{S\subseteq R\\|S|=k}}\det(L_S).$$

本章明确固定选 k 项。LS 是只留下集合 S 对应行列的子矩阵。Gram 构造保证 L 半正定;对读者最重要的意义是:算出的集合权重不会为负。任意两两业务相似度矩阵未必满足这一要求。

同样的质量长度,方向改变平行四边形面积 两栏向量长度都为2和3,采用同一比例。夹角30度时平行四边形面积3,对应Gram行列式9;夹角90度时面积6,行列式36。阴影是完整四边形,不是三角形。9和36是未归一化几何权重,不是选择概率。 同样的质量长度,方向改变面积 本例质量用向量长度表示:两栏都是 2 和 3,单位尺度相同。 夹角 30° O 长度 2 长度 3 阴影面积 3 平方后:9 夹角 90° O 长度 2 长度 3 阴影面积 6 平方后:36 对应 Gram 行列式 = 平行四边形面积的平方 9、36 是几何权重,不是概率;平行或反平行都会得到 0。
看完整的四边形阴影:固定质量长度时,面积从 3 变为 6,对应行列式从 9 变为 36。这里不比较推荐收益,也不把“夹角越大”当作通则。

看一个能算清的例子:两向量是 (2,0) 和 (0,3)。它们张成的平行四边形面积是 6;Gram 矩阵对角是 4 和 9,行列式是 36=6²。三角形面积则是 3,不能拿来直接对应这个行列式。

一般地,Gram 行列式对应平行多面体体积的平方。质量尺度固定时,过于接近或线性相关的方向会压低权重。但“向量不同”不等于所有意义上的语义更远:反向向量也线性相关,行列式仍为 0。作者教材 §2.2.1、§3.1。

可选:平方、固定 k 和合法核的边界

两项且 φᵢ、φⱼ 为单位方向时:

$$\det(L_{\{i,j\}})=q_i^2q_j^2(1-\cos^2\theta).$$

固定两向量的质量尺度时,垂直方向的权重最大;平行或反向时都是 0。不要求两个质量相等:例如固定为 2 和 3,夹角 30° 与 90° 的权重分别为 9 和 36。这是线性独立性,不是“任意语义距离越大就越好”。如果想改用映射后的相似度,也要保留合法核;例如 Chen 等讨论过 (1+cos)/2 的构造,不能随便截断或改一张业务相似度表。

普通 L-ensemble 的集合概率与 det(LS) 成正比,归一化分母为 det(I+L)。不限定大小的最大后验选择(MAP,即选概率最大的集合)可能选空集:L=.25I 时空集权重为 1,单项 .25,两项 .0625。

k-DPP 是把概率条件化到“恰好 k 项”,只在这些集合之间归一化;它与固定 k 的最大权重选择仍有“采样还是取最大”的区别。若 L 的秩小于 k,也就是独立方向不够,所有 k 项权重都是 0,固定 k 的分布无法正规化,不能许诺总有 k 个正权重项。作者教材 §5.1。

算得快不等于全局最优。Chen 等(2018)的快速贪心在已有核上选 k 项的复杂度可写为 O(Nk²),N 为候选数;它加速的是贪心更新,不是把一般的 MAP 难题变成精确最优。构建核的成本另计,“几百候选 10 ms”也必须限定实现、硬件和 k,不能当本页保证。快速贪心论文。

DPP 有公开工业应用,例如 YouTube 的作者论文。这说明它是可研究的方案,不代表所有平台都把它作为标准配置,也不代表任何特征空间的多样性都符合用户感受。

规则打散:先说清楚什么不能违反

按类目或作者打散,是一种直接、容易审查的重排方式。它不需要训练新模型,但也没有“80% 情况都更有效”的通用比例。先把规则写成可检查的定义,才谈代码。

  • min_gap=3:最近 3 个输出不能有同 key,所以重复位置至少相差 4,中间隔着至少 3 个其他物品;0 表示取消这项检查。
  • window=5, max_per_window=2:包含新项的最近至多 5 个输出里,同 key 最多 2 次;开头不足 5 项时检查已有前缀。
  • 规则不一定要同时启用得很严格;本例宁可返回不足,也不为了凑数强制放入违规项。

独立入口 2:硬约束不放宽,未放置项不丢失

本块只用 Python 标准库,不依赖前一块或 NumPy。key_fn 提取字符串或整数类目/作者 ID;输入顺序代表原先的优先级。每一步选择第一个合规候选,因此保留了“优先考虑靠前物品”的原功能。

默认 k 为全部输入项数,也可只取前 k 个结果。返回 items、原输入 indices、remaining 和不足原因;blocked 进一步列出当前前缀触发的规则。它不自动插入填充项,也不偷偷删除未选项。

from numbers import Integral


def scatter(items, key_fn, min_gap=3, max_per_window=2, window=5, k=None):
    """硬约束贪心;window 包含新项,key 是字符串/整数,绝不强制补位。"""
    for name, value, minimum in (("min_gap", min_gap, 0),
                                 ("window", window, 1),
                                 ("max_per_window", max_per_window, 1)):
        if isinstance(value, bool) or not isinstance(value, Integral) or value < minimum:
            raise ValueError(f"{name} 必须是至少 {minimum} 的整数")
    if not callable(key_fn):
        raise TypeError("key_fn 必须可调用")
    items = list(items)
    k = len(items) if k is None else k
    if isinstance(k, bool) or not isinstance(k, Integral) or k < 0:
        raise ValueError("k 必须是非负整数或 None")
    pool = [(i, item, key_fn(item)) for i, item in enumerate(items)]
    if any(isinstance(key, bool) or not isinstance(key, (str, Integral))
           for _, _, key in pool):
        raise ValueError("本例的 key 必须是字符串或整数类目/作者 ID")
    selected, selected_keys, selected_indices = [], [], []

    def violations(key):
        recent = selected_keys[-min_gap:] if min_gap else []
        previous = selected_keys[-(window - 1):] if window > 1 else []
        reasons = []
        if key in recent:
            reasons.append("min_gap")
        if previous.count(key) + 1 > max_per_window:
            reasons.append("window_cap")
        return reasons

    while pool and len(selected) < k:
        position = next((i for i, (_, _, key) in enumerate(pool)
                         if not violations(key)), None)
        if position is None:
            break  # 当前前缀不能继续;不等于证明全局没有其他可行排列
        original_index, item, key = pool.pop(position)
        selected.append(item)
        selected_keys.append(key)
        selected_indices.append(original_index)
    complete = len(selected) == k
    reason = ("complete" if complete else
              "blocked_by_constraints" if pool else "insufficient_candidates")
    blocked = [] if complete else [
        {"index": i, "item": item, "rules": violations(key)} for i, item, key in pool]
    return {"items": selected, "indices": selected_indices, "requested": int(k),
            "unfilled": int(k) - len(selected), "reason": reason,
            "remaining": [item for _, item, _ in pool], "blocked": blocked}


def main():
    # 全部为固定人为类目标签;输入顺序代表初始优先级。
    zero = scatter(list("AAB"), str, min_gap=0, max_per_window=10)
    window = scatter(list("ABAC"), str, min_gap=1, window=2, max_per_window=1)
    blocked = scatter(list("AA"), str, min_gap=1)
    assert zero["items"] == list("AAB") and window["items"] == list("ABAC")
    assert blocked["items"] == ["A"] and blocked["reason"] == "blocked_by_constraints"
    assert blocked["blocked"][0]["rules"] == ["min_gap"]
    assert scatter([], str, k=2)["unfilled"] == 2
    assert scatter(list("AA"), str, min_gap=0, window=1)["items"] == list("AA")
    print("零间隔:", "".join(zero["items"]))
    print("含候选的2项窗口:", "".join(window["items"]))
    print("不能补位:", blocked)
    print("候选不足:", scatter(["A"], str, k=2)["reason"])


if __name__ == "__main__":
    main()

本次实跑:零间隔例保持 AAB;“含候选的 2 项窗口”例保持合法的 ABAC。只有两个 A、要求间隔 1 时,返回一个 A,另一个保留在 remaining,缺 1 项,原因是 blocked_by_constraints。

停下只说明当前前缀无法继续。例如输入 BAA、min_gap=1,这个贪心先放 BA 就会停下,但另一种排列 ABA 实际可行。它没有回头重排先前选择,不能据此断言全局无解。

若业务需要搜索其他可行排列,可另设有预算的搜索;若规则只是软偏好,应另写惩罚或显式降级策略。合规和用户屏蔽不能成为这种降级的代价。

打散会改变曝光顺序,但不等于真实点击率必降。要分别检查约束是否满足、相关性是否合适,以及短期和长期指标;没有测量前,不给规则或模型预定赢家。

打散与反刷要分开:评论可先按相关性、时间或可信互动形成优先级,再把合规、屏蔽和多样性约束交给重排。作者/类目不同不代表账号可信,列表看起来多样也不能证明互动没被刷。

可跳过:评论热度接入可信事件的小例

先定义排序入口:每条评论带可见性、相关性、服务端时间、去重后的有效互动数、风险处置状态及特征版本。按时间排序时明确稳定的同分规则;按热度排序可以试验时间衰减或有效互动与相关性的组合,例如 relevance + log(1 + effective_likes) 只是候选打分式,需验证,不是平台通用答案。

“可信”从哪里来:服务端核验主体身份/权限、对象与动作,再接收事件ID和业务状态版本;不能相信客户端自报的actor或点赞总数。相同event_id重试只处理一次,同一actor对同一评论的重复Like也不能累加多个“当前点赞”。撤销、重复或乱序到达要有状态/版本协议,旧事件不得覆盖新状态。

手设4次点赞请求:e1是u1点赞c7,随后重试e1;e2仍是u1点赞c7;e3是u2点赞c7。只有3个不同事件、2个当前点赞主体,不是4个有效点赞。随后u1的e4撤销,当前有效数变为1。这里假设事件按业务版本有序;乱序须另外校验,不用客户端时间戳猜最后状态。

账号短时频率、重复内容、协同行为等可作为复核线索;新账号或同IP本身不等于作弊。将去重后的有效特征与处置结果交给排序,保留审计与复核入口;不要让本章的打散函数承担整套账号风控。

手设门禁指标分子 / 分母结果
正常样本误拦8 / 100个正常样本8%
作弊样本漏放5 / 20个作弊样本25%

表内是手设标注集:100个正常样本、20个作弊样本;门禁标记8个正常和15个作弊,假定“被标记就拦截”,故误拦8/100、漏放(20−15)/20。若只是送人工复核,先记录误报,再单独量最终误伤/申诉结果。按时间窗、来源与新老用户切片,并看处置延迟和排序质量;不能拿这组教学比例当线上成绩。

依据:W3C的actor/object/Like及Undo语义可帮助定义动作;Dislike并不自动撤销Like,具体幂等与认证仍由业务接口实现。RFC6585的429表示请求频率受限,既不证明真人,也不证明作弊。这里未运行平台反刷系统。

学出来的重排:先分清输出是什么

有的模型给每项重新打分,有的逐个挑下一项,有的比较整份排列。它们都能考虑列表上下文,但不是同一个算法。这里的“生成”主要指生成候选物品的排列,不是让语言模型写一段文字。

PRM(Personalized Re-ranking,阿里 2019)

PRM 在初始候选列表上引入个性化信息,用类似 Transformer 的自注意力编码,让物品互相参考,再输出上下文相关的重排分数。自注意力表示如何汇集信息,不等于已经证明了物品之间的因果作用。

  1. 输入初始列表及其物品/用户信息,例如当前教学任务的 50 个候选。
  2. 用列表编码建模物品关系,并结合个性化表示。
  3. 输出每项的重排分数,再按目标组织列表。

模型可以尝试学习“相近商品适合一起比较”或“不同商品存在互补”等模式;同类多不一定坏。规则也能表达一部分这些关系,模型是否学好要看目标、数据和验证,不能靠“用了 Transformer”保证。PRM 作者论文。

生成式与排列级方法:三种不同路径

Seq2Slate:根据已经选出的项,再选下一项

用循环网络和指针式解码逐项选候选;“指针”在这里就是指向候选列表中的某个物品。论文同时讨论监督训练和 REINFORCE 策略梯度训练,不要求一定再训练一个 GRN 式评估器。Seq2Slate §2–3。

GRN:生成器与评估器协作

评估器(Evaluator)学习评价列表,生成器(Generator)用 GRU 循环网络、注意力和指针逐项挑选。论文先训练评估器,再用它指导生成器的策略梯度训练;这是一个具体架构,不是所有重排的定义。GRN 作者论文。

PIER:先筛候选排列,再评价排列上下文

FPSM 模块利用用户的排列级兴趣,通过 SimHash(一种相似性哈希)筛出候选排列;OCPM 模块再对排列的上下文进行评价。它不能简单画成与 GRN 相同的“循环网络一步步选下一项”。PIER §4。

这些模型的论文结果都有自己的数据、训练和评估协议。本章没有复现它们的收益;学习方法也仍要接受业务约束与质量护栏检查。

怎么衡量多样性?先看指标在量什么

“种类多”“覆盖广”“不重复”和“让人惊喜”不是同一件事。先选符合问题的指标,再与相关性和用户体验一起读。

ILD(Intra-List Diversity,列表内多样性)
同一列表中物品两两距离的平均。本章用余弦距离;高分只说明所选向量空间里较分散,不保证内容质量或留存。
Coverage(目录覆盖率)
一个统计期内,被推荐过的不同物品数占可推荐目录的比例。必须固定时间窗与目录分母;覆盖更多不自动等于挖到了有价值的长尾。
Gini / Entropy(曝光分布的不均匀程度 / 熵)
看曝光是否集中在少数物品。通常 Gini 越低越均匀,Entropy 越高越均匀;二者方向不同,应固定物品集合和统计期。
Category Count(类目数量)
例如一屏出现几个不同类目。容易解释,但分类粗细会改变数值,也不能直接代表内容或观点多样。
Serendipity(意外但有用的发现)
同时考虑“没想到”和“相关/有价值”,通常需要明确的预期基线或用户评价;不等于只放冷门内容。
Novelty(新颖性)
可以用低流行度等代理指标观察。原例的平均流行度越低,只能说推荐更偏冷门,不等于刚发布或用户从未见过。

独立入口 3:稳定计算平均余弦距离

本块自行 import NumPy。输入是“物品数 × 向量维度”的二维实数数组。余弦比较方向,因此先将每行化成单位长度;代码先做一次稳定缩放,避免极大/极小非零向量在求长度时溢出或下溢。

零向量没有方向,余弦未定义;代码会报错,不能加一个 epsilon 后把它当正常物品。形状为 (0,d)、d>0 的有效二维空输入,或仅有一个有效非零向量时,没有物品对,本例约定返回 0,不是测得列表完全重复。裸 [] 不是这里要求的二维输入,单项零向量也会被拒绝。

import numpy as np


def intra_list_diversity(item_vecs):
    """平均余弦距离;空/单项有效列表约定为0,零向量和非有限值报错。"""
    vectors = np.asarray(item_vecs)
    if vectors.ndim != 2 or vectors.shape[1] == 0:
        raise ValueError("需要 (物品数, 正整数维度) 的二维数组")
    if not np.issubdtype(vectors.dtype, np.number) or np.iscomplexobj(vectors):
        raise ValueError("向量必须是实数数组")
    vectors = vectors.astype(np.float64)
    if not np.isfinite(vectors).all():
        raise ValueError("向量不能含 NaN/Inf")
    n = len(vectors)
    if n == 0:
        return 0.0
    # 先缩放,避免极大/极小非零向量在求平方和时溢出/下溢。
    scales = np.max(np.abs(vectors), axis=1, keepdims=True)
    if np.any(scales == 0):
        raise ValueError("零向量的余弦未定义")
    unit = vectors / scales
    unit /= np.linalg.norm(unit, axis=1, keepdims=True)
    if n < 2:
        return 0.0
    similarity = np.clip(unit @ unit.T, -1.0, 1.0)
    upper = np.triu_indices(n, k=1)
    return float((1.0 - similarity[upper]).mean())


def main():
    same = np.array([[1., 0.], [1., 0.]])
    orthogonal = np.eye(2)
    opposite = np.array([[1., 0.], [-1., 0.]])
    print("同向 / 正交 / 反向:", *(intra_list_diversity(x) for x in (same, orthogonal, opposite)))
    assert intra_list_diversity(1e-300 * same) == intra_list_diversity(same) == 0.0
    assert intra_list_diversity(np.empty((0, 2))) == 0.0
    assert intra_list_diversity(np.array([[1., 0.]])) == 0.0
    for invalid in (np.zeros((2, 2)), np.array([[np.nan, 0.], [1., 0.]])):
        try:
            intra_list_diversity(invalid)
        except ValueError:
            continue
        raise AssertionError("无效向量应被拒绝")
    print("缩放、空/单项、零向量和NaN检查通过")


if __name__ == "__main__":
    main()

本次 NumPy 2.3.5 实跑:同向、正交、反向的两向量例分别得到 0、1、2;同向向量都乘 1e−300,结果仍为 0。零向量和 NaN 被明确拒绝。

余弦距离可到 2,不是只在 0–1 之间。这里所有物品对等权,未考虑位置、用户兴趣或点击价值;若改变向量模型、距离定义或权重,比较时必须一起说明,不能只比较一个裸 ILD 数字。

短期点击与长期体验:先定实验,再看结果

多样化可能带来取舍,也可能同时改善或同时变差。把高分物品后移会改变曝光,但不能直接推出真实 CTR 一定降低;长期留存是否改变,也不是只看更丰富的列表就能知道。

短期数据先积累,留存类指标还要等观察窗完整 横轴为从示例起点经过的天数,刻度0、3、7、10按线性比例排列。第0天入组的一批观察到第7天,第3天入组的一批观察到第10天,每条横条都是完整7乘24小时。它们不是实验组和对照组,也不是效果曲线。完整七日窗不等同于D7当天留存,不表示实验结束或指标上涨。 短期数据先积累,留存类指标还要等观察窗完整 曝光与点击按口径积累;不能由先看到的 CTR 自动推断长期影响。 这里只示意观察时间,不预设任何指标上升或下降。 经过的天数 03710 第 0 天入组的一批用户 完整 7 × 24 小时 第 7 天,本批窗完整 第 3 天入组的一批用户 完整 7 × 24 小时 第 10 天 本批窗完整 横条一样长;晚入组的一批,要更晚才能完整观察。 7 日完整窗不等同于 D7 当天留存;具体回访定义要另外约定。 这是观察窗示意,不是实验结束日期;也不表示后来所有批次都已成熟。
先看两条等长横条:它们按入组时间分批,不是实验组与对照组,也不表示效果高低。实际比较仍需同一定义、相同成熟条件与预定分析方法,结果可能更好、更差或没有明确差异。

如果有人以“CTR 先跌 1–2%,跑到 2–4 周一定会上来”作为上线理由,证据还不够。这些幅度和周期最多是待验证的情景假设,不是本章实验结果或普遍规律;相对百分比与百分点也必须分清。

  1. 先写好目标和护栏:除点击外,还看观看质量、约束违规、覆盖与消费多样性,以及留存、时长、流失等适合业务的指标。
  2. 再定实验协议:样本量、分组、业务周期和指标成熟时间决定需要观察多久。一天结果可能太早,但机械等待 2–4 周也不保证识别了长期效应。
  3. 检查时间变化的原因:可能有新奇效应、用户学习、身份标识变化或存活/选择偏差。更长实验也不是免疫偏差的办法。
  4. 按事先规则做决策:上线前对齐短期 KPI、长期目标与停止条件,避免看到短期变化后临时换指标解释。合规和严重质量回退不能靠“以后会涨”拖延处理。

长期实验的原研究解释了这些陷阱;YouTube DPP 论文则展示了该平台自己的短期/长期分析。它们支持认真评估,不支持把某个平台的收益许诺给所有重排方案。

信息茧房:把风险机制和必然结果分开

反馈回路可能缩窄曝光,但不是推荐系统只有一种结局。用户自己的选择、候选来源、目标函数和训练数据都参与其中,不能把所有变化只归因于“缺少探索”。

  • Filter Bubble(过滤气泡/信息茧房):个性化可能让用户更少遇到其他类型的内容或观点。
  • Echo Chamber(回声室):相近观点在交互与传播中不断被强化;这不只是一个排序参数。
  • 反馈回路:推荐影响曝光,曝光影响用户能产生什么行为,行为再进入训练,可能加强原先偏好。

这些是需要监测的风险,不是每个用户必然“越来越极端”的证明。MovieLens 的纵向研究发现总体有一定缩窄,但跟随推荐的用户消费多样性下降更小;这同样不能外推成所有推荐都会破除茧房。WWW 2014 原研究。

  • 留出探索空间:例如每 N 条中安排一次受质量/安全约束的探索;N 应通过业务验证。
  • 检查覆盖:例如把每屏至少 3 个类目设为某次策略目标,但类目数不等于观点多样性、公平性或用户满意度。
  • 考虑长期奖励:强化学习可研究长期目标,但不会自动消除偏差或解决所有伦理问题。
  • 保留独立治理:对有害内容执行明确政策;“争议大”或“观点不同”本身不能替代对危害和质量的判断,降权规则需清楚可审查。

工程上能够调整列表,并不意味着伦理问题已经解决。探索、用户控制和内容治理的目标与约束仍需要分别设计。

跨板块连接:把问题带到下一站

  • 长期效应与代理指标:CTR 是容易测的代理之一,未必等于长期体验;不要预设短期负、长期正。
  • A/B 实验:延伸阅读分组、指标与时间效应,观察周期不是统一的 2–4 周门槛。
  • 探索与利用:理解为什么只曝光已知偏好可能错过信息;信息茧房还有其他机制。
  • 多目标取舍的延伸阅读:可以继续想指标间如何权衡,但 MMR 的 λ 扫描不自动就是帕累托前沿。

帕累托前沿指在给定可行方案里,不存在另一方案在所有目标都不差、至少一个更好的那些方案。A=(准确性 1,多样性 0) 即使准确性已最大,仍会被 B=(1,1) 支配。启发式参数曲线可能含被支配点,也未必找全前沿。

把两个明确的数值指标加权是一种选择取舍的办法,但要说明尺度和权重。不能把“序数效用不能随意相加”直接搬成“相关性与多样性分数不允许相加”;MMR 本身就在做加权。

✅ 检查点

  1. 为什么“每项分数都很高”不保证整份列表最好?
  2. MMR 的 λ 调低改变了什么?它保证 ILD 或 CTR 单调变化吗?首项怎么选?
  3. DPP 的 Gram 行列式对应什么几何量?两维例子中,平行四边形面积与这个权重有什么关系?
  4. 重排后短期点击一定下降吗?怎样评估长期体验,能否只规定固定天数?
  5. 说出至少三个多样性相关指标,并说明它们各自在看什么。
  6. 推荐系统的反馈回路可能怎样缩窄曝光?为什么不能说这一定发生、或只需探索就全部解决?
👀 答案
  1. 物品之间可能重复或互相影响;列表还要覆盖兴趣、满足约束。单项分数之和不一定准确表示这些相互作用下的整体体验。
  2. 相对更重视当前候选的去冗余项;最终列表和指标不保证单调。本例首项始终按相关性最高、同分按小输入索引。
  3. Gram 行列式是所选列向量张成的平行多面体体积平方。两维是平行四边形面积平方,不是面积本身,也不是三角形面积;面积 6 对应权重 36。
  4. 不一定。预先定义相关性、质量/合规护栏、曝光/消费多样性及长期指标,用合适的实验协议观察;样本量、业务周期和指标成熟时间决定时长,不能许诺 1–2% 或 2–4 周的固定结果。
  5. 例如 ILD 看列表内向量距离,Coverage 看给定统计期的目录覆盖,Category Count 看类目数;Gini/Entropy 看曝光分布,Novelty/Serendipity 还需各自定义。
  6. 推荐影响曝光和行为,行为又用于训练,可能加强原有偏好。但用户选择、内容来源和目标等也有影响;探索、用户控制与治理需要分别验证。

本节回顾

⚡ 走神救援

先记住这几件事

  • 重排关心整个列表的体验,不只关心每个物品单独的分数。
  • 先满足去重、频控等硬约束,再权衡相关性、多样性与业务需求。
  • 评价短期点击也评价覆盖与长期体验,实验前明确成功指标。

下一章:12 · 评估与 A/B 实验。如果还没看召回候选怎么产生,可以回到10 · 向量检索与 ANN。

打卡记录保存在你的浏览器里,首页能看到总进度