🏠 总目录📚 本教程 13 · 冷启动与E&E ← →
📑 本页目录(点开跳转)

13 · 冷启动与探索利用

推荐算法 / 冷启动与探索

没有点击历史,凭什么给出第一次推荐?

已有内容和上下文可以提供起点;下一次机会仍要按目标、证据缺口与约束来分配。

能区分冷启动的信息来源、探索选择规则与新策略评估需要的日志条件。

主线阅读约 20 分钟;四个代码实验另留时间

一个人刚注册,一条视频刚发布,系统都还不太了解它们。推荐仍要开始:先用现有信息给出合理起点,再为值得了解的候选安排反馈机会。

这章解决两个相连的问题:缺数据时怎么开始;开始之后,下一次机会给谁。探索的目标是获得有用信息,投入多少还要看用户体验、剩余机会与风险。

三种冷启动,缺少的信息不同

冷启动就是当前对象缺少可用历史,模型难以直接沿用熟悉对象的估计。先确认缺的是谁的数据,再选办法。

类型缺少什么可以先做什么
新用户个人行为历史组合合适的上下文、主动兴趣和多样化兜底候选。
新物品这个物品自己的交互证据使用内容表示、合理初始估计与受约束的曝光机会。
新系统整个场景的历史与成熟模型从规则、内容或可迁移的数据开始,同时建立日志与评估。

持续有新品的业务,需要长期处理物品冷启动;新系统则可能连数据管道都要建立。哪种更难,取决于内容特征、可迁移信息与试错成本,不按一个固定名次判断。

冷启动:先用已有信息,再安排新证据

1. 新用户:组合五种信息来源

“没有历史点击”不等于“一无所知”。下面五类信息可以并用:可选的兴趣表达、当前语言与入口、少量会话行为,都能与基础候选一起参与推荐。

用户冷启动:按已有信息组合,不是等待逐级解锁五种信息来源并列汇入推荐策略:基础候选、合适的上下文、主动兴趣、少量行为和更丰富的历史。它们可以同时使用,也可以缺省,不设置统一行为次数门槛。 用户冷启动:按已有信息组合,不是等待逐级解锁 刚进入系统,不等于所有信息都没有;先用实际可用且合适的信息。 兜底候选 符合资格与质量要求 兼顾热门、品类覆盖和多样性 合适的上下文 语言、地区、当前入口等 机型不能直接等同个人消费力 用户主动表达 选择兴趣,或明确“不感兴趣” 允许跳过,不强迫填写完整画像 少量真实行为 结合当前会话,谨慎更新 一次点击不等于稳定偏好 逐渐积累的历史 逐步提高个性化信息的权重 不靠统一“第几刷”宣布结束 组合与更新 按资格筛选,再组合信号 持续记录曝光与后续反馈 根据证据调整,不按日历切换 看汇合关系:五种来源不是五道必经关卡。
看汇合线:有哪类信息,就评估能否使用;多种来源可以同时参与。少量反馈也要考虑噪声,不能从设备价位或一次点击直接断定一个人的长期偏好。

例如,可以邀请用户选择三个感兴趣的主题,也允许跳过;随后观察真实点击、停留或“不感兴趣”。一次行为只是线索,个性化信息的权重应随证据逐步调整。

兜底也可以有质量筛选、品类覆盖和多样性。系统不必等到固定的第几次操作才切换模型,更不能从设备价位直接推断一个人的消费力。

2. 新物品:让“不知道”有合理的处理方式

假如评分主要依赖旧交互,新物品可能因缺失特征得到保守低分,继而很难获得曝光。这是需要排查的系统风险,而不是“新物品质量差”的证据。

新物品可能被困在低曝光循环中在主要依赖历史交互、缺少冷启动回退的系统里,少数据可能导致保守低分,低分减少曝光,曝光少又难积累证据。箭头表达有条件的风险,不是所有推荐器的必然行为。 新物品可能被困在低曝光循环中 前提:系统主要依赖历史交互,而且没有合适的新物品回退策略。 交互证据很少 新物品尚未积累反馈 不等于它的真实质量低 模型可能给低分 缺失特征被保守处理 这是系统设计的一个风险 曝光机会变少 排在后面或没有进入候选 可观察到的反馈也随之减少 仍难积累证据 数据不能凭空补齐 下一轮继续依赖旧估计 可干预的地方:内容回退、适当的初始估计、受约束的曝光机会。 先查是哪个环节阻断了机会,再选择办法;不必一上来就使用 Bandit。
看箭头的前提:少数据不会自动等于低质量;是评分、召回和分配策略可能把“不知道”变成“不给机会”。内容特征或合理回退已能缓解的情况,不必强行套上同一种探索算法。

可以从下面四处干预。先看阻断发生在表示、召回还是流量分配,再决定用哪一种。

办法一:用内容给表示和初始估计提供起点

标题、封面、音视频、类目和作者信息,即使没有新品点击也可能存在。把这些特征送进已经训练好的内容编码器,可以为新物品生成表示。训练与上线时的特征处理还要保持一致。TensorFlow Recommenders:特征处理

内容能提供起点,但向量与召回系统必须接得上标题、图像、音视频和元数据经过已训练的内容编码器,产生与用户查询可匹配的物品向量。新向量还需进入索引并满足候选资格才可能召回。内容或相似物品统计也可作为独立的初始估计,经实际反馈更新。 内容能提供起点,但向量与召回系统必须接得上 没有新物品的交互记录,也可以使用它的内容;但不是任意向量都可直接相加。 新物品的内容 标题、封面、音视频 类目、作者、时长等 只使用实际存在的特征 已训练的内容编码器 例如 ID-free 物品塔 输出与检索目标对齐的向量 不要求先拿到该新品点击 接入索引与筛选 与查询使用匹配空间 写入或更新候选索引 满足可见性与安全条件 才有机会进入召回 是否排进展示列表 还取决于后续评分与规则 另一路:给初始估计提供依据 内容相似物品、作者或店铺的统计可以作为先验。 先验是暂时的估计,不是新品已经发生的点击或播放。 需要检查迁移是否可靠,并让后续真实反馈逐步更新。 向量检索与统计先验是两种用途,不是“找到相似物品后自动继承事实”。
先看上方三步:内容编码器已经训练好、表示能匹配、索引和资格已准备好,新物品才可能参与召回。下方是另一种用途:借助内容设置初始估计,仍须用新品自己的反馈检验。

ID-free 物品塔指不依赖该物品专属的 ID 嵌入来产生表示;它仍然可以使用类目、作者等可用特征。输出要与用户查询处于可匹配的表示空间,并进入候选索引、通过资格筛选,才有机会被召回。

另一种设计是 item_emb = ID_embedding + content_embedding。这里的加法要求维度一致、训练目标对齐。只有训练和服务都设计了相应回退,才能把新 ID 的一项设为零;任意拼来的两个向量不能直接这样使用。

办法二:给冷物品设置名额上限

先看一个确定性规则:一次需要 10 个位置,冷物品占比上限设为 10%,那么最多放 1 个冷物品。剩余位置沿用已排好的旧物品;冷池不足时,可以让旧物品补入。

这里的“冷”按累计曝光少于 1,000 次划分,只是示例。名额按“位置数 × 比例”向下取整,小列表可能得到零名额;它没有保证每个新品都会被轮到,也没有给出随机选择概率。

代码入口 1:单次列表的名额分配。前三个代码入口只需 Python 标准库;第四个 TS 入口还需 NumPy。四段均可各自保存为一个文件、完整运行,不依赖前一个代码框的变量。

import math
from numbers import Integral, Real


def allocate_slots(candidates, n_slots=10, explore_ratio=0.1):
    """冷物品有数量上限;旧物品预先排好,冷物品按内容分排序。"""
    if isinstance(n_slots, bool) or not isinstance(n_slots, Integral) or n_slots < 0:
        raise ValueError("n_slots 必须是非负整数")
    if (isinstance(explore_ratio, bool) or not isinstance(explore_ratio, Real)
            or not math.isfinite(explore_ratio) or not 0 <= explore_ratio <= 1):
        raise ValueError("explore_ratio 必须是 0 到 1 之间的有限数")
    if not isinstance(candidates, (list, tuple)):
        raise TypeError("candidates 必须是候选字典组成的列表或元组")
    n_slots = int(n_slots)
    seen, cold, warm = set(), [], []
    for item in candidates:
        if not isinstance(item, dict) or not {"id", "impressions", "content_score"} <= item.keys():
            raise ValueError("每项必须包含 id、impressions、content_score")
        item_id, count, score = item["id"], item["impressions"], item["content_score"]
        if not isinstance(item_id, str) or not item_id or item_id in seen:
            raise ValueError("id 必须是非空且不重复的字符串")
        if isinstance(count, bool) or not isinstance(count, Integral) or count < 0:
            raise ValueError("impressions 必须是非负整数")
        if isinstance(score, bool) or not isinstance(score, Real) or not math.isfinite(score):
            raise ValueError("content_score 必须是有限数,越大越好")
        seen.add(item_id)
        # 1000 次只是本例的冷启动分界,不是各业务通用门槛。
        (cold if count < 1000 else warm).append(item)

    cold_budget = math.floor(n_slots * explore_ratio)
    chosen_cold = sorted(cold, key=lambda item: -item["content_score"])[:cold_budget]
    chosen_warm = warm[:n_slots - len(chosen_cold)]
    chosen = chosen_warm + chosen_cold
    missing = n_slots - len(chosen)
    status = "no_slots_requested" if n_slots == 0 else (
        "filled" if missing == 0 else "insufficient_candidates_within_budget")
    return {"selected_ids": [item["id"] for item in chosen],
            "cold_budget": cold_budget, "cold_used": len(chosen_cold),
            "missing_slots": missing, "status": status}


if __name__ == "__main__":
    import json
    candidates = [
        {"id": "old-a", "impressions": 2000, "content_score": 0.7},
        {"id": "old-b", "impressions": 1500, "content_score": 0.6},
        {"id": "new-low", "impressions": 10, "content_score": 0.1},
        {"id": "new-high", "impressions": 10, "content_score": 0.9},
    ]
    print(json.dumps(allocate_slots(candidates, 3, 1 / 3)))
    # 只剩一个旧物品时,不会突破“最多一个冷物品”的预算填满三槽。
    print(json.dumps(allocate_slots(candidates[:1] + candidates[2:], 3, 1 / 3)))

实际运行:第一例返回 old-a, old-b, new-high,冷预算 1、使用 1、缺位 0,状态为 filled。

第二例返回 old-a, new-high,冷预算 1、使用 1、缺位 1,状态为 insufficient_candidates_within_budget。

第二次输入中,即使还有别的冷物品,程序也只返回两个位置,并报告缺 1 个。这样调用者能决定减少展示或提供其他合法兜底,而不是悄悄突破预算。

把名额接到分级流量池

单次列表名额与一个物品的累计曝光预算,是两种不同口径。流量池管理的是后者:先给小批机会,再按证据决定扩量、继续观察或退出。

分级流量池:按事先约定的证据规则决定下一步示例从累计五百、五千到五万次曝光逐级审查。每一级都有继续扩量、证据不足与风险或质量问题三种分支。次数只是预算例子,不是充分性保证;任何一级都不因小样本点击率低就自动判死。 分级流量池:按事先约定的证据规则决定下一步 500 / 5,000 / 50,000 次是累计预算示例,不是通用晋级标准。 进入前先约定 候选资格、指标与护栏、观察窗口、扩量规则,以及重复查看结果的处理方式。 阶段 1:累计 500 次 先观察小批量反馈 到这里不代表证据已经足够 证据仍不足 在预算内继续收集 或暂缓,不仓促定输赢 风险或质量问题 暂停、降级或退出 记录原因并允许复核 满足扩量规则 阶段 2:累计 5,000 次 在更大曝光范围复核 到这里不代表证据已经足够 证据仍不足 在预算内继续收集 或暂缓,不仓促定输赢 风险或质量问题 暂停、降级或退出 记录原因并允许复核 满足扩量规则 阶段 3:累计 50,000 次 评估继续扩量的风险 到这里不代表证据已经足够 证据仍不足 在预算内继续收集 或暂缓,不仓促定输赢 风险或质量问题 暂停、降级或退出 记录原因并允许复核 满足规则后进入常规分配 低分、数据不足、明确风险:三者不是同一回事。
看每一级的三条出口:下方是满足规则后扩量,右侧分别是证据不足、风险或质量问题。平滑估计能减小极端估计,但不会自动解决曝光偏差、重复检验或误杀;具体规则要匹配业务和采样方式。

图中的 500、5,000、50,000 次是累计预算例子。进入前先约定点击率或完播率等指标、护栏、观察窗口与扩量规则;达到次数本身不能说明证据已经充分。

小样本可以借助平滑估计降低极端波动,但“证据不足”和“已经发现风险”应走不同出口。若边看结果边决定停止,还需要匹配这种查看方式的统计方法。时间一致置信序列研究处理的是这类持续查看的覆盖问题,不是给任何流量池提供自动晋级阈值。

办法三:借用作者或店铺信息作为先验

先验是观察新品反馈前的初始判断。比如一位作者最近 10 条视频的平均完播率为 60%,可以考虑给新品一个较有依据的起点;这不是新品已经取得 60% 完播率的事实。

先检查这些视频是否可比、样本是否足够,以及新内容是否改变了题材。之后用新品自己的反馈更新,避免把作者历史永久变成优待或惩罚。后面的 TS 代码会演示如何把先验和真实观察次数分开保存。

办法四:有条件地使用跨场景信息

用户在搜索中的明确需求,可能帮助推荐入口选择起点;其他业务的内容特征也可能迁移过来。需要检查身份关联、授权范围、场景差异和反馈口径:主动搜索与被动浏览表达的意图可能不同。

先用内容、兜底和明确名额解决“根本没机会出现”的问题。需要依据反馈连续决定下一次给谁,再进入 Bandit。

探索与利用:下一次机会给谁

利用(exploit)是按当前信息选择更有把握的候选;探索(explore)是让尚不确定的候选得到有用反馈。两者服务于明确的目标,例如在一段时间内获得较高累计奖励,同时控制试错风险。

多臂老虎机:一次选一项,只看到这一项的结果

把五个候选想成五台老虎机:你有 1,000 次机会,每次只能选一台,之后才看到它的奖励。这里的“臂”就是可选动作,不要求真的有老虎机。

  • 总选当前最高估计:执行简单,但如果起初误判,可能长期缺少纠正其他候选估计的机会。
  • 每台均分 200 次:获得较均匀的信息,也会持续把机会给当前较差的候选;这些尝试仍可能产生奖励,并非全部浪费。
  • 根据反馈调整:边观察边分配,考虑当前回报和信息价值。下面三种规则是理解这种选择的入口。

先看两个完全可算的环境。图中每次奖励是人为设定的固定数,因而一次尝试就能知道 B;真实点击通常没有这么确定。

同一次试探,在不同环境里有不同收益 两幅图使用相同坐标。人工确定性奖励中,已知A每轮为0.6,B未知但固定。始终选A的累计奖励第十轮为6。先试B再选较高者:若B为0.9,累计奖励从第一轮就领先,第十轮为9;若B为0.1,随后回到A,第十轮为5.5。例子不保证探索一定先亏,也不保证将来必然回本。 探索没有一条固定的“先亏后赚”曲线 人工确定性例子:下面是每次实际得到的奖励,不是点击概率。 已知 A 每轮得 0.6;B 的奖励未知,但在本例中每轮固定。 同一试探策略:先选 B 一次,之后选已知奖励较高的一项。 情形一:B 的奖励为 0.9 情形二:B 的奖励为 0.1 试过后,继续选 B 试过后,回到 A 1050 1050 01510 轮 01510 轮 累计奖励 累计奖励 96 65.5 第一轮就更好,并未先亏。 第 10 轮仍少 0.5,没有回本。 始终选 A 先试 B,再按观察到的奖励选择
比较两幅图:环境不同,同一次试探可能立即带来收益,也可能留下成本。图中每次奖励固定,才能试一次就知道 B 的值;真实点击有噪声,一次反馈不能估准点击率。探索应结合已有信息、剩余机会与安全约束评估,不套用固定的回本故事。

同一试探规则在第 10 轮可能得到 9,也可能得到 5.5;始终选 A 则得到 6。探索既不必先亏,也没有固定的回本承诺。是否值得投入,要结合不确定性、剩余机会与代价。

三个单次选择入口

接下来先研究“当前候选中选一个”。输入候选应先满足业务资格与安全约束。规则选择了谁,和用户随后是否点击,是两件事。

① ε-greedy:留一条均匀随机的路

ε(epsilon)控制进入随机分支的概率。本例以 1−ε 选分数最高的一项,以 ε 从全部候选中均匀抽一项。最高分并列时固定取输入的第一项。

若只有 a、b 两个候选,b 分数较高,ε=0.1,那么 b 既可能从最高分分支选中,也可能被随机抽中。它的完整选择概率是 0.9 + 0.1÷2 = 0.95,不是 0.9。

代码入口 2:一次选择及完整选择概率。代码使用给定分数,不训练模型;branch记录这次实际走的路,selection_probability记录两条路合起来选中该项的概率。

import math
import random
from numbers import Real


def epsilon_greedy(candidates, model_scores, epsilon=0.1, rng=None):
    """只做一轮选择;输入分数已经算好。并列最高分取输入中的第一项。"""
    if not isinstance(candidates, (list, tuple)) or not candidates:
        raise ValueError("candidates 必须是非空列表或元组")
    if any(not isinstance(item, str) or not item for item in candidates):
        raise ValueError("候选 id 必须是非空字符串")
    if len(set(candidates)) != len(candidates):
        raise ValueError("候选 id 不得重复")
    if not isinstance(model_scores, (list, tuple)) or len(model_scores) != len(candidates):
        raise ValueError("model_scores 必须是一维列表,与候选一一对应")
    if any(isinstance(score, bool) or not isinstance(score, Real)
           or not math.isfinite(score) for score in model_scores):
        raise ValueError("每个模型分数必须是有限数")
    if (isinstance(epsilon, bool) or not isinstance(epsilon, Real)
            or not math.isfinite(epsilon) or not 0 <= epsilon <= 1):
        raise ValueError("epsilon 必须是 0 到 1 之间的有限数")
    if rng is None:
        rng = random.Random()
    if not isinstance(rng, random.Random):
        raise TypeError("rng 必须是 random.Random 实例")

    greedy = max(range(len(candidates)), key=lambda i: model_scores[i])
    if rng.random() < epsilon:
        selected, branch = rng.randrange(len(candidates)), "random"
    else:
        selected, branch = greedy, "greedy"
    # 即使走随机分支,也可能抽中贪婪项;这里返回整个策略的选择概率。
    probability = epsilon / len(candidates) + (1 - epsilon if selected == greedy else 0)
    return {"item_id": candidates[selected], "branch": branch,
            "selection_probability": float(probability), "greedy_id": candidates[greedy]}


if __name__ == "__main__":
    items, scores = ["a", "b"], [0.2, 0.8]
    for epsilon in (0.0, 0.1, 1.0):
        result = epsilon_greedy(items, scores, epsilon, random.Random(7))
        print(f"epsilon={epsilon:.1f}, selected={result['item_id']}, "
              f"branch={result['branch']}, probability={result['selection_probability']:.3f}")
实际运行:相同输入,各自使用 seed=7
ε选中项本次分支完整选择概率
0.0bgreedy1.000
0.1bgreedy0.950
1.0arandom0.500

三个示例各自重建 seed=7 的局部随机数发生器,只为复查同一输入下的规则。ε 越大,均匀尝试越多;它不区分哪些候选更值得了解。TS 教程 §2–3

② UCB:把当前均值和乐观奖金相加

UCB 是 Upper Confidence Bound(置信上界)的缩写。它给估计不充分的候选一项乐观奖金,再与已观察的平均奖励相加。

先固定时钟:N 是全部已完成观察的次数;下一轮编号 t=N+1。ni 是候选 i 已完成的观察次数。下面公式用于 ni>0,ln 表示自然对数。

先算候选 i 的乐观奖金:

$$b_i(t)=c\sqrt{\frac{2\ln t}{n_i}}.$$

再加上当前样本均值,比较谁的分数大:

$$\mathrm{UCB}_i(t)=\bar{x}_i+b_i(t),\qquad t=N+1.$$

这里的 x̄i 是已有反馈的平均奖励;bi(t) 是刚算出的奖金;c 控制奖金强度。本式取 c=1 对应标准 UCB1 的系数。固定 t 时,同样均值、观察更少的候选奖金更大;固定 ni 时,迟迟没再尝试的候选会随 t 增长而提高奖金。

标准理论是在固定候选、平稳独立奖励等假设下分析的,奖励范围为 [0,1]。修改 c、让兴趣漂移或换成动态候选后,要另看适用性。Auer 等:UCB1,§2 与图 1

代码入口 3:只计算本轮比较分数。它还不是完整学习循环;选择、接收反馈和更新计数要由调用者衔接。ni=0 时样本均值未定义,代码要求用 0 占位并返回 inf,表示先试一次的初始化约定。

import math
from numbers import Integral, Real


def ucb_score(mean_reward, n_pulls, total_pulls, c=1.0):
    """N=已完成观察总数;下一轮 t=N+1。只计算分数,不是完整在线算法。"""
    if (isinstance(mean_reward, bool) or not isinstance(mean_reward, Real)
            or not math.isfinite(mean_reward) or not 0 <= mean_reward <= 1):
        raise ValueError("mean_reward 必须是 [0,1] 内的有限均值")
    for value in (n_pulls, total_pulls):
        if isinstance(value, bool) or not isinstance(value, Integral) or value < 0:
            raise ValueError("观察次数必须是非负整数")
    if n_pulls > total_pulls:
        raise ValueError("单个候选的观察数不能超过总观察数")
    if isinstance(c, bool) or not isinstance(c, Real) or not math.isfinite(c) or c < 0:
        raise ValueError("c 必须是非负有限数;此公式的标准 UCB1 系数是 1")
    if n_pulls == 0:
        if mean_reward != 0:
            raise ValueError("尚无观察时,请用 0 作为未定义样本均值的占位")
        return float("inf")  # 只对已经通过业务过滤的候选采用先试一次的约定。
    t = int(total_pulls) + 1
    return float(mean_reward + c * math.sqrt(2 * math.log(t) / int(n_pulls)))


if __name__ == "__main__":
    # 共完成 12 次观察:A 试了 10 次,B 试了 2 次。下一轮 t=13。
    scores = {"a": ucb_score(0.4, 10, 12), "b": ucb_score(0.5, 2, 12)}
    for item, score in scores.items():
        print(f"{item}: {score:.6f}")
    print("selected:", max(scores, key=scores.get))
    print("untried:", ucb_score(0.0, 0, 12))

实际运行:a: 1.116233;b: 2.101546;selected: b。

单独的未试项例子打印 untried: inf;它没有参加前面的 A/B 比较。

A 的均值为 0.4、观察 10 次;B 的均值为 0.5、观察 2 次。全部已观察 12 次,所以下一轮 t=13。分数可以大于 1:它是用于选择的“均值加奖金”,不是点击概率。多个未试候选如何并列选择,需要调用者另定顺序。

③ Thompson Sampling:从可能的成功概率中抽样

Thompson Sampling(TS)保存对未知奖励参数的判断,每轮抽出一组可能的参数,再按这组参数选择。这里用最简单的二元反馈:一次有效观察的结果为点击 1 或未点击 0,单个物品的成功概率暂按稳定值建模。

Beta 分布可以描述一个 0 到 1 的未知概率。两个正参数 α、β 包含初始先验与后续反馈:观察一次点击给 α 加 1,观察一次未点击给 β 加 1;没观察的物品不更新。

每次从各候选的 Beta 后验抽一个可能的成功概率,然后选抽样值最大的候选。抽到的 0.12 既不是已经发生的点击,也不是算法选中它的概率。TS 教程 §3,算法 2

同用 Beta(1,1) 先验,加入各自已完成的二元反馈
物品曝光 / 点击后验参数后验均值
A10,000 / 500Beta(501, 9501)501÷10002 ≈ 5.009%
B10 / 1Beta(2, 10)2÷12 ≈ 16.667%
Thompson Sampling 抽的是可能的点击概率独立稳定的二元奖励示例,两个物品均使用Beta一一先验。A一万次曝光五百次点击,后验Beta501,9501;B十次曝光一次点击,后验Beta2,10。两者后验均值和不确定性都不同,曲线是实际Beta概率密度,不是点击次数或某一点的概率。 Thompson Sampling 抽的是可能的点击概率 示例假设:每次只有点击 / 未点击,概率稳定,各次反馈按模型独立。 都从 Beta(1, 1) 开始:α 加点击数,β 加未点击数。 为看清形状,横轴只画 0–0.5;概率仍可到 1,右侧尾部未画出。 A:10,000 次曝光,500 次点击 Beta(501, 9501) 0 100 200 0 0.1 0.2 0.3 0.4 0.5 后验均值 ≈ 5.009% 横轴:可能的点击概率 p 纵轴:概率密度(0–200) B:10 次曝光,1 次点击 Beta(2, 10) 0 2.5 5 0 0.1 0.2 0.3 0.4 0.5 后验均值 ≈ 16.667% 横轴:可能的点击概率 p 纵轴:概率密度(0–5) 先看位置,再看宽窄 A 的后验均值约 5%;B 的均值约 16.7%,分布也更宽。这不是“只差样本量”。

横轴相同,纵轴刻度不同:请比较横向位置与宽窄,不比较两幅图的峰高。均值不一定是峰值,B 的峰在 0.1。

曲线是密度,区间下的面积才是概率;图只画到 0.5,B 的右侧未画尾部还有约 0.586% 的概率。

按这组后验各抽一次,B 的样本超过 A 的概率约为 89.8%;这依赖先验、观测和稳定二元模型,不是线上胜率保证。

B 在这个例子中既有更高的后验均值,也有更大的不确定性,不能只归因于样本少。若一个候选被逐渐确认很好,它可能得到更多利用机会;“不确定性下降”本身不意味着曝光必然下降。

代码入口 4:浮点先验、真实反馈与一次选择。下面另造一个内容先验例子:内容模型给物品 0 的初始成功率估计为 0.08,参数总强度设为 20,于是 α=1.6、β=18.4。这个 20 表示先验强度,不是它真的获得了 20 次曝光。

这一段需要 NumPy;本页记录的实跑环境为 Python 3.12.14、NumPy 2.2.6。先验只在该物品尚无真实反馈时设置,之后用 update逐条加入已完成观察窗的结果。

import math
from numbers import Integral, Real
import numpy as np


class ThompsonSampling:
    """二元反馈教学版:每个候选抽一次,k>1 是简化 top-k 变体。"""
    def __init__(self, n_items, prior_a=1.0, prior_b=1.0, rng=None):
        if isinstance(n_items, bool) or not isinstance(n_items, Integral) or n_items <= 0:
            raise ValueError("n_items 必须是正整数")
        a, b = self._positive(prior_a), self._positive(prior_b)
        if not math.isfinite(a + b):
            raise ValueError("先验总强度必须有限")
        self.a = np.full(int(n_items), a, dtype=float)
        self.b = np.full(int(n_items), b, dtype=float)
        self.observations = np.zeros(int(n_items), dtype=np.int64)
        self.rng = np.random.default_rng() if rng is None else rng
        if not isinstance(self.rng, np.random.Generator):
            raise TypeError("rng 必须是 numpy.random.Generator 实例")

    @staticmethod
    def _positive(value):
        if (isinstance(value, bool) or not isinstance(value, Real)
                or not math.isfinite(value) or value <= 0):
            raise ValueError("参数必须是正的有限数")
        return float(value)

    def _item(self, item):
        if (isinstance(item, (bool, np.bool_)) or not isinstance(item, Integral)
                or not 0 <= item < len(self.a)):
            raise ValueError("物品编号必须是 0 到 n_items-1 的整数")
        return int(item)

    def select(self, candidates, k=1):
        if isinstance(k, bool) or not isinstance(k, Integral) or k < 0:
            raise ValueError("k 必须是非负整数")
        if not isinstance(candidates, (list, tuple)):
            raise TypeError("candidates 必须是物品编号列表或元组")
        ids = [self._item(item) for item in candidates]
        if len(ids) != len(set(ids)):
            raise ValueError("候选编号不得重复")
        if not ids or k == 0:
            return []
        samples = self.rng.beta(self.a[ids], self.b[ids])
        order = np.argsort(-samples, kind="stable")[:int(k)]
        return [ids[int(i)] for i in order]

    def update(self, item, clicked):
        item = self._item(item)
        if not isinstance(clicked, (Integral, bool, np.bool_)) or clicked not in (0, 1):
            raise ValueError("clicked 只能是已观察到的整数 0/1 或布尔值")
        self.a[item] += int(clicked)
        self.b[item] += 1 - int(clicked)
        self.observations[item] += 1

    def set_prior_from_content(self, item, predicted_ctr, strength=20):
        item = self._item(item)
        p, strength = self._positive(predicted_ctr), self._positive(strength)
        if p >= 1:
            raise ValueError("predicted_ctr 必须严格位于 0 和 1 之间")
        if self.observations[item] != 0:
            raise ValueError("已有真实反馈,不能覆盖其先验和观察记录")
        a, b = self._positive(p * strength), self._positive((1 - p) * strength)
        self.a[item], self.b[item] = a, b


if __name__ == "__main__":
    model = ThompsonSampling(3, prior_a=1, prior_b=1, rng=np.random.default_rng(7))
    model.set_prior_from_content(0, predicted_ctr=0.08, strength=20)
    print(f"prior for 0: a={model.a[0]:.1f}, b={model.b[0]:.1f}")
    model.update(0, 1)
    model.update(0, 0)
    print(f"after feedback: a={model.a[0]:.1f}, b={model.b[0]:.1f}, observations={model.observations[0]}")
    print("one decision:", model.select([0, 1, 2]))
    print("top-k variant:", model.select([0, 1, 2], k=2))
实际运行:NumPy 2.2.6,局部 seed=7
步骤输出
设置物品 0 的先验prior for 0: a=1.6, b=18.4
加入一次成功与一次失败after feedback: a=2.6, b=19.4, observations=2
随后的一次单动作选择one decision: [2]
再调用一次 Top-k 变体top-k variant: [2, 1]

程序把先验参数和真实观察数分开保存。未展示、未被观察或反馈尚未成熟时,不调用 update补一个 0;字符串 false和缺失值会报错。这样“没有反馈”不会被当成“已经失败”。

从一个动作到一组展示,还差什么

上面 TS 的 k=1对应一次单动作选择。k>1只是一个简化变体:每个候选抽一次,按同一组抽样值取前 k 项,并非每个位置重新独立抽样。

真实推荐列表还要处理位置差异、重复项、相互影响,以及用户实际看到了哪些项。要先定义“一个动作”是单物品还是整份列表,以及什么反馈能更新谁;不能把整列未点击都无条件记成各物品失败。

代码允许空候选或 k=0 返回空列表,k 超过候选数时只返回可用项。TS 的抽样值不是日志所需的选择概率,本段也没有计算 TS 的完整选择概率。

什么时候值得考虑 TS,什么时候另选方法?

Beta-Bernoulli 版本的抽样和计数更新很直接,适合用来理解不确定性如何影响选择。更复杂的先验、延迟反馈与并发决策,需要相应建模和实现。

若信息会自然到来、目标只是识别最佳候选,或剩余机会很短,合适的方法可能不同。TS 并非所有工业场景的统一最优方案。TS 教程 §8.2:适用边界

Contextual Bandit:把当前用户和情境也放进来

同一篇体育文章,对不同用户可能有不同价值。Contextual Bandit(上下文老虎机)在选择前使用当前用户、候选和情境的特征,选择后仍只收到实际动作的反馈。

LinUCB 用线性模型结合上下文;Neural Bandit 则用神经网络表达更复杂的关系。关键变化是“根据当前情境决策”,不是给所有用户共用一个物品平均分。不同算法如何表示不确定性,需要分别看模型假设。Li 等:LinUCB 模型与算法;Zhou 等:NeuralUCB

为什么探索还关系到数据与生态

推荐策略不仅使用数据,也影响以后能观察到什么。总是没有机会出现的候选,很难获得用于更新模型的真实反馈。

曝光影响我们能学到什么,但反馈循环不是必然越走越窄推荐策略决定曝光机会,曝光与真实反馈共同决定记录数据,训练与校验再影响下一轮策略。受约束的随机机会可以补充覆盖,必须记录选择概率与结果;它不自动消除位置、选择和延迟偏差。 曝光影响我们能学到什么,但反馈循环不是必然越走越窄 ① 策略分配曝光 不同候选得到不同机会 曝光并不保证用户点击 ② 记录机会与真实反馈 曝光、位置、点击或未点击 以及反馈窗口与延迟 ③ 得到受策略影响的数据 没展示不等于不喜欢 日志只覆盖实际可观察部分 ④ 训练并检查下一轮策略 检查偏差、覆盖与目标 并非必然只会强化旧偏好 补充信息入口 受约束的随机机会 记录选择概率 随机不等于对任意问题都无偏:还要明确目标、覆盖、记录和评估方法。 安全筛选和曝光上限仍然有效;不可推荐的候选不因“探索”而越过约束。
顺着四个箭头看:我们学到的是已有策略允许观察到的数据。探索能补充部分机会,但不能自动把日志变成所有用户、物品或新策略的无偏样本;还要检查覆盖、已知选择概率及反馈记录。
  • 发现新机会:新品和新创作者需要被了解,但机会应受资格、质量与风险约束。
  • 补充数据覆盖:为旧策略很少展示的合法候选取得部分反馈,同时记录它们为何、以多大概率被选中。
  • 检查多样性与长期目标:覆盖、内容生态和用户体验可以成为目标,需要用预先定义的指标检验,而不是从“用了探索”直接推断留存上涨。

反馈循环可能强化原有偏好,也可能被内容信号、用户主动表达和策略调整改变。先查实际曝光与更新机制,再讨论信息茧房,避免把一种风险讲成所有系统的必然结局。

实践:先定目标,再定预算与记录

冷启动阶段信息少、成熟系统已有反馈、热点内容寿命短,这些情境会改变探索的价值。用剩余机会、证据缺口、可承受损失和业务护栏一起定预算,再通过评估调整。

例如,“新用户 20%–30%、成熟系统 5%–10%、随机日志 1%–5%”只能是待论证的配置例子,不是跨业务推荐比例。三者甚至可能分别指位置占比、随机分支概率和实验流量,必须先写清分母。

高风险场景还需资格审查、专业监督和不可突破的安全边界;把 ε 调低并不能代替这些约束。探索名额、随机采样和上线实验也不应混成同一滑块。

随机日志:有机会被观察,还要能回答指定问题

假设两个动作 A、B 的奖励分别固定为 0、1。日志策略以 90%、10% 的概率选它们,直接平均日志奖励的期望是 0.1;若想评估一个各选 50% 的目标策略,它的期望奖励却是 0.5。

日志本来就是随机的,问题出在它代表的策略与目标策略不同。把一小部分流量称为“随机流量”,不会自动消除这种差异。

  1. 写清目标:评估哪类用户、哪些合法候选、哪个位置,以及哪一个策略的什么奖励。
  2. 保存选择过程:记录候选集、上下文、实际动作、位置和已知选择概率,再按约定窗口记录真实反馈。
  3. 检查覆盖:目标策略可能选到的动作,日志策略也要有机会选择;概率太小还会让估计很不稳定。
  4. 匹配评估方法:根据采样方式使用合适的重放或加权方法,并报告假设与不确定性。

例如,Li 等的随机日志重放证明明确使用独立同分布事件与均匀随机记录策略;它还需要按目标策略的选择筛选事件,而不是直接平均全部日志。原论文 §4:评估方法与定理 1

这样,随机机会有两个可以分别检验的用途:补充原来稀少的反馈,以及支持指定策略的离线评估。实际是否够用,要看有效样本、覆盖和记录质量,而不是仅看流量比例。

与其他章节接起来

检查点:能分清规则与证据了吗

  1. 三种冷启动分别缺什么?为什么很难用一个固定排名回答“哪种最难”?
  2. 新物品可能陷入怎样的低曝光循环?可以在哪些环节打断它?
  3. ID-free 双塔为什么可能服务新物品?除了有内容向量,还需要什么条件?
  4. ε-greedy、UCB、TS 分别依据什么做单次选择?ε=0.1、两个候选时,唯一最高分项的选择概率是多少?
  5. TS 的简单版本为什么值得作为实践起点?它抽的是什么,为什么不能据此宣布对所有业务都最好?
  6. 预留随机机会为什么可能同时帮助补充反馈与离线评估?只写“留 1%–5% 随机流量”还缺什么?
查看检查点答案
  1. 分别缺用户历史、物品交互和系统级历史。难度取决于可用内容、可迁移信息、更新速度和风险;持续上新的业务会长期面对物品冷启动。
  2. 缺数据可能被评分和召回策略转成低分与低曝光,继而更难取得反馈。可以检查内容表示与索引、初始估计、兜底和受约束的曝光分配,而不是把未知当成低质量。
  3. 它可用已训练的内容编码器生成新品表示,不依赖该新品专属 ID 嵌入。仍要保证训练与服务处理一致、表示空间匹配、索引更新和资格筛选。
  4. ε-greedy 混合最高分与均匀随机;UCB 比较均值加乐观奖金;TS 从后验抽可能的奖励参数后选择。本例随机分支也含最高分项,所以完整概率为 0.9+0.1÷2=0.95。
  5. Beta-Bernoulli 版本的抽样与反馈更新容易看清,也能表达不确定性。它抽的是可能的成功概率,不是已发生的点击或完整选择概率;先验、反馈模型、时限与列表场景会改变适用性。
  6. 随机机会可以让部分稀少候选被观察,也可能为指定策略的离线评估提供数据。还需明确目标、候选覆盖、位置、选择概率、成熟反馈与匹配的评估方法;比例本身没有无偏保证。

短回顾与下一站

⚡ 走神救援

先记住这几件事

  • 新用户与新物品缺少行为数据,需要内容、画像或兜底入口。
  • 探索为未知候选收集反馈,利用把流量给当前更有把握的选择。
  • 小样本反馈有很大波动,别用一次偶然高低分决定候选命运。

动手任务:到信息流模拟器项目,在同一组环境、种子与预算下比较利用和探索策略。记录新物品覆盖、累计奖励与用户兴趣变化;结论只对应你实际运行的模型和参数,不预设 TS 一定能逆转所有反馈循环。

想看前沿方向,进入14 · 生成式推荐;准备接到实际系统,走15 · 工程落地。先确认你已能区分名额、动作、整组展示和评估目标,再选择下一站。

打卡记录保存在你的浏览器里,首页能看到总进度