13 · 冷启动与探索利用
推荐算法 / 冷启动与探索
没有点击历史,凭什么给出第一次推荐?
已有内容和上下文可以提供起点;下一次机会仍要按目标、证据缺口与约束来分配。
能区分冷启动的信息来源、探索选择规则与新策略评估需要的日志条件。
主线阅读约 20 分钟;四个代码实验另留时间
一个人刚注册,一条视频刚发布,系统都还不太了解它们。推荐仍要开始:先用现有信息给出合理起点,再为值得了解的候选安排反馈机会。
这章解决两个相连的问题:缺数据时怎么开始;开始之后,下一次机会给谁。探索的目标是获得有用信息,投入多少还要看用户体验、剩余机会与风险。
三种冷启动,缺少的信息不同
冷启动就是当前对象缺少可用历史,模型难以直接沿用熟悉对象的估计。先确认缺的是谁的数据,再选办法。
| 类型 | 缺少什么 | 可以先做什么 |
|---|---|---|
| 新用户 | 个人行为历史 | 组合合适的上下文、主动兴趣和多样化兜底候选。 |
| 新物品 | 这个物品自己的交互证据 | 使用内容表示、合理初始估计与受约束的曝光机会。 |
| 新系统 | 整个场景的历史与成熟模型 | 从规则、内容或可迁移的数据开始,同时建立日志与评估。 |
持续有新品的业务,需要长期处理物品冷启动;新系统则可能连数据管道都要建立。哪种更难,取决于内容特征、可迁移信息与试错成本,不按一个固定名次判断。
冷启动:先用已有信息,再安排新证据
1. 新用户:组合五种信息来源
“没有历史点击”不等于“一无所知”。下面五类信息可以并用:可选的兴趣表达、当前语言与入口、少量会话行为,都能与基础候选一起参与推荐。
例如,可以邀请用户选择三个感兴趣的主题,也允许跳过;随后观察真实点击、停留或“不感兴趣”。一次行为只是线索,个性化信息的权重应随证据逐步调整。
兜底也可以有质量筛选、品类覆盖和多样性。系统不必等到固定的第几次操作才切换模型,更不能从设备价位直接推断一个人的消费力。
2. 新物品:让“不知道”有合理的处理方式
假如评分主要依赖旧交互,新物品可能因缺失特征得到保守低分,继而很难获得曝光。这是需要排查的系统风险,而不是“新物品质量差”的证据。
可以从下面四处干预。先看阻断发生在表示、召回还是流量分配,再决定用哪一种。
办法一:用内容给表示和初始估计提供起点
标题、封面、音视频、类目和作者信息,即使没有新品点击也可能存在。把这些特征送进已经训练好的内容编码器,可以为新物品生成表示。训练与上线时的特征处理还要保持一致。TensorFlow Recommenders:特征处理
ID-free 物品塔指不依赖该物品专属的 ID 嵌入来产生表示;它仍然可以使用类目、作者等可用特征。输出要与用户查询处于可匹配的表示空间,并进入候选索引、通过资格筛选,才有机会被召回。
另一种设计是 item_emb = ID_embedding + content_embedding。这里的加法要求维度一致、训练目标对齐。只有训练和服务都设计了相应回退,才能把新 ID 的一项设为零;任意拼来的两个向量不能直接这样使用。
办法二:给冷物品设置名额上限
先看一个确定性规则:一次需要 10 个位置,冷物品占比上限设为 10%,那么最多放 1 个冷物品。剩余位置沿用已排好的旧物品;冷池不足时,可以让旧物品补入。
这里的“冷”按累计曝光少于 1,000 次划分,只是示例。名额按“位置数 × 比例”向下取整,小列表可能得到零名额;它没有保证每个新品都会被轮到,也没有给出随机选择概率。
代码入口 1:单次列表的名额分配。前三个代码入口只需 Python 标准库;第四个 TS 入口还需 NumPy。四段均可各自保存为一个文件、完整运行,不依赖前一个代码框的变量。
import math
from numbers import Integral, Real
def allocate_slots(candidates, n_slots=10, explore_ratio=0.1):
"""冷物品有数量上限;旧物品预先排好,冷物品按内容分排序。"""
if isinstance(n_slots, bool) or not isinstance(n_slots, Integral) or n_slots < 0:
raise ValueError("n_slots 必须是非负整数")
if (isinstance(explore_ratio, bool) or not isinstance(explore_ratio, Real)
or not math.isfinite(explore_ratio) or not 0 <= explore_ratio <= 1):
raise ValueError("explore_ratio 必须是 0 到 1 之间的有限数")
if not isinstance(candidates, (list, tuple)):
raise TypeError("candidates 必须是候选字典组成的列表或元组")
n_slots = int(n_slots)
seen, cold, warm = set(), [], []
for item in candidates:
if not isinstance(item, dict) or not {"id", "impressions", "content_score"} <= item.keys():
raise ValueError("每项必须包含 id、impressions、content_score")
item_id, count, score = item["id"], item["impressions"], item["content_score"]
if not isinstance(item_id, str) or not item_id or item_id in seen:
raise ValueError("id 必须是非空且不重复的字符串")
if isinstance(count, bool) or not isinstance(count, Integral) or count < 0:
raise ValueError("impressions 必须是非负整数")
if isinstance(score, bool) or not isinstance(score, Real) or not math.isfinite(score):
raise ValueError("content_score 必须是有限数,越大越好")
seen.add(item_id)
# 1000 次只是本例的冷启动分界,不是各业务通用门槛。
(cold if count < 1000 else warm).append(item)
cold_budget = math.floor(n_slots * explore_ratio)
chosen_cold = sorted(cold, key=lambda item: -item["content_score"])[:cold_budget]
chosen_warm = warm[:n_slots - len(chosen_cold)]
chosen = chosen_warm + chosen_cold
missing = n_slots - len(chosen)
status = "no_slots_requested" if n_slots == 0 else (
"filled" if missing == 0 else "insufficient_candidates_within_budget")
return {"selected_ids": [item["id"] for item in chosen],
"cold_budget": cold_budget, "cold_used": len(chosen_cold),
"missing_slots": missing, "status": status}
if __name__ == "__main__":
import json
candidates = [
{"id": "old-a", "impressions": 2000, "content_score": 0.7},
{"id": "old-b", "impressions": 1500, "content_score": 0.6},
{"id": "new-low", "impressions": 10, "content_score": 0.1},
{"id": "new-high", "impressions": 10, "content_score": 0.9},
]
print(json.dumps(allocate_slots(candidates, 3, 1 / 3)))
# 只剩一个旧物品时,不会突破“最多一个冷物品”的预算填满三槽。
print(json.dumps(allocate_slots(candidates[:1] + candidates[2:], 3, 1 / 3)))
实际运行:第一例返回 old-a, old-b, new-high,冷预算 1、使用 1、缺位 0,状态为 filled。
第二例返回 old-a, new-high,冷预算 1、使用 1、缺位 1,状态为 insufficient_candidates_within_budget。
第二次输入中,即使还有别的冷物品,程序也只返回两个位置,并报告缺 1 个。这样调用者能决定减少展示或提供其他合法兜底,而不是悄悄突破预算。
把名额接到分级流量池
单次列表名额与一个物品的累计曝光预算,是两种不同口径。流量池管理的是后者:先给小批机会,再按证据决定扩量、继续观察或退出。
图中的 500、5,000、50,000 次是累计预算例子。进入前先约定点击率或完播率等指标、护栏、观察窗口与扩量规则;达到次数本身不能说明证据已经充分。
小样本可以借助平滑估计降低极端波动,但“证据不足”和“已经发现风险”应走不同出口。若边看结果边决定停止,还需要匹配这种查看方式的统计方法。时间一致置信序列研究处理的是这类持续查看的覆盖问题,不是给任何流量池提供自动晋级阈值。
办法三:借用作者或店铺信息作为先验
先验是观察新品反馈前的初始判断。比如一位作者最近 10 条视频的平均完播率为 60%,可以考虑给新品一个较有依据的起点;这不是新品已经取得 60% 完播率的事实。
先检查这些视频是否可比、样本是否足够,以及新内容是否改变了题材。之后用新品自己的反馈更新,避免把作者历史永久变成优待或惩罚。后面的 TS 代码会演示如何把先验和真实观察次数分开保存。
办法四:有条件地使用跨场景信息
用户在搜索中的明确需求,可能帮助推荐入口选择起点;其他业务的内容特征也可能迁移过来。需要检查身份关联、授权范围、场景差异和反馈口径:主动搜索与被动浏览表达的意图可能不同。
先用内容、兜底和明确名额解决“根本没机会出现”的问题。需要依据反馈连续决定下一次给谁,再进入 Bandit。
探索与利用:下一次机会给谁
利用(exploit)是按当前信息选择更有把握的候选;探索(explore)是让尚不确定的候选得到有用反馈。两者服务于明确的目标,例如在一段时间内获得较高累计奖励,同时控制试错风险。
多臂老虎机:一次选一项,只看到这一项的结果
把五个候选想成五台老虎机:你有 1,000 次机会,每次只能选一台,之后才看到它的奖励。这里的“臂”就是可选动作,不要求真的有老虎机。
- 总选当前最高估计:执行简单,但如果起初误判,可能长期缺少纠正其他候选估计的机会。
- 每台均分 200 次:获得较均匀的信息,也会持续把机会给当前较差的候选;这些尝试仍可能产生奖励,并非全部浪费。
- 根据反馈调整:边观察边分配,考虑当前回报和信息价值。下面三种规则是理解这种选择的入口。
先看两个完全可算的环境。图中每次奖励是人为设定的固定数,因而一次尝试就能知道 B;真实点击通常没有这么确定。
同一试探规则在第 10 轮可能得到 9,也可能得到 5.5;始终选 A 则得到 6。探索既不必先亏,也没有固定的回本承诺。是否值得投入,要结合不确定性、剩余机会与代价。
三个单次选择入口
接下来先研究“当前候选中选一个”。输入候选应先满足业务资格与安全约束。规则选择了谁,和用户随后是否点击,是两件事。
① ε-greedy:留一条均匀随机的路
ε(epsilon)控制进入随机分支的概率。本例以 1−ε 选分数最高的一项,以 ε 从全部候选中均匀抽一项。最高分并列时固定取输入的第一项。
若只有 a、b 两个候选,b 分数较高,ε=0.1,那么 b 既可能从最高分分支选中,也可能被随机抽中。它的完整选择概率是 0.9 + 0.1÷2 = 0.95,不是 0.9。
代码入口 2:一次选择及完整选择概率。代码使用给定分数,不训练模型;branch记录这次实际走的路,selection_probability记录两条路合起来选中该项的概率。
import math
import random
from numbers import Real
def epsilon_greedy(candidates, model_scores, epsilon=0.1, rng=None):
"""只做一轮选择;输入分数已经算好。并列最高分取输入中的第一项。"""
if not isinstance(candidates, (list, tuple)) or not candidates:
raise ValueError("candidates 必须是非空列表或元组")
if any(not isinstance(item, str) or not item for item in candidates):
raise ValueError("候选 id 必须是非空字符串")
if len(set(candidates)) != len(candidates):
raise ValueError("候选 id 不得重复")
if not isinstance(model_scores, (list, tuple)) or len(model_scores) != len(candidates):
raise ValueError("model_scores 必须是一维列表,与候选一一对应")
if any(isinstance(score, bool) or not isinstance(score, Real)
or not math.isfinite(score) for score in model_scores):
raise ValueError("每个模型分数必须是有限数")
if (isinstance(epsilon, bool) or not isinstance(epsilon, Real)
or not math.isfinite(epsilon) or not 0 <= epsilon <= 1):
raise ValueError("epsilon 必须是 0 到 1 之间的有限数")
if rng is None:
rng = random.Random()
if not isinstance(rng, random.Random):
raise TypeError("rng 必须是 random.Random 实例")
greedy = max(range(len(candidates)), key=lambda i: model_scores[i])
if rng.random() < epsilon:
selected, branch = rng.randrange(len(candidates)), "random"
else:
selected, branch = greedy, "greedy"
# 即使走随机分支,也可能抽中贪婪项;这里返回整个策略的选择概率。
probability = epsilon / len(candidates) + (1 - epsilon if selected == greedy else 0)
return {"item_id": candidates[selected], "branch": branch,
"selection_probability": float(probability), "greedy_id": candidates[greedy]}
if __name__ == "__main__":
items, scores = ["a", "b"], [0.2, 0.8]
for epsilon in (0.0, 0.1, 1.0):
result = epsilon_greedy(items, scores, epsilon, random.Random(7))
print(f"epsilon={epsilon:.1f}, selected={result['item_id']}, "
f"branch={result['branch']}, probability={result['selection_probability']:.3f}")
| ε | 选中项 | 本次分支 | 完整选择概率 |
|---|---|---|---|
| 0.0 | b | greedy | 1.000 |
| 0.1 | b | greedy | 0.950 |
| 1.0 | a | random | 0.500 |
三个示例各自重建 seed=7 的局部随机数发生器,只为复查同一输入下的规则。ε 越大,均匀尝试越多;它不区分哪些候选更值得了解。TS 教程 §2–3
② UCB:把当前均值和乐观奖金相加
UCB 是 Upper Confidence Bound(置信上界)的缩写。它给估计不充分的候选一项乐观奖金,再与已观察的平均奖励相加。
先固定时钟:N 是全部已完成观察的次数;下一轮编号 t=N+1。ni 是候选 i 已完成的观察次数。下面公式用于 ni>0,ln 表示自然对数。
先算候选 i 的乐观奖金:
$$b_i(t)=c\sqrt{\frac{2\ln t}{n_i}}.$$
再加上当前样本均值,比较谁的分数大:
$$\mathrm{UCB}_i(t)=\bar{x}_i+b_i(t),\qquad t=N+1.$$
这里的 x̄i 是已有反馈的平均奖励;bi(t) 是刚算出的奖金;c 控制奖金强度。本式取 c=1 对应标准 UCB1 的系数。固定 t 时,同样均值、观察更少的候选奖金更大;固定 ni 时,迟迟没再尝试的候选会随 t 增长而提高奖金。
标准理论是在固定候选、平稳独立奖励等假设下分析的,奖励范围为 [0,1]。修改 c、让兴趣漂移或换成动态候选后,要另看适用性。Auer 等:UCB1,§2 与图 1
代码入口 3:只计算本轮比较分数。它还不是完整学习循环;选择、接收反馈和更新计数要由调用者衔接。ni=0 时样本均值未定义,代码要求用 0 占位并返回 inf,表示先试一次的初始化约定。
import math
from numbers import Integral, Real
def ucb_score(mean_reward, n_pulls, total_pulls, c=1.0):
"""N=已完成观察总数;下一轮 t=N+1。只计算分数,不是完整在线算法。"""
if (isinstance(mean_reward, bool) or not isinstance(mean_reward, Real)
or not math.isfinite(mean_reward) or not 0 <= mean_reward <= 1):
raise ValueError("mean_reward 必须是 [0,1] 内的有限均值")
for value in (n_pulls, total_pulls):
if isinstance(value, bool) or not isinstance(value, Integral) or value < 0:
raise ValueError("观察次数必须是非负整数")
if n_pulls > total_pulls:
raise ValueError("单个候选的观察数不能超过总观察数")
if isinstance(c, bool) or not isinstance(c, Real) or not math.isfinite(c) or c < 0:
raise ValueError("c 必须是非负有限数;此公式的标准 UCB1 系数是 1")
if n_pulls == 0:
if mean_reward != 0:
raise ValueError("尚无观察时,请用 0 作为未定义样本均值的占位")
return float("inf") # 只对已经通过业务过滤的候选采用先试一次的约定。
t = int(total_pulls) + 1
return float(mean_reward + c * math.sqrt(2 * math.log(t) / int(n_pulls)))
if __name__ == "__main__":
# 共完成 12 次观察:A 试了 10 次,B 试了 2 次。下一轮 t=13。
scores = {"a": ucb_score(0.4, 10, 12), "b": ucb_score(0.5, 2, 12)}
for item, score in scores.items():
print(f"{item}: {score:.6f}")
print("selected:", max(scores, key=scores.get))
print("untried:", ucb_score(0.0, 0, 12))
实际运行:a: 1.116233;b: 2.101546;selected: b。
单独的未试项例子打印 untried: inf;它没有参加前面的 A/B 比较。
A 的均值为 0.4、观察 10 次;B 的均值为 0.5、观察 2 次。全部已观察 12 次,所以下一轮 t=13。分数可以大于 1:它是用于选择的“均值加奖金”,不是点击概率。多个未试候选如何并列选择,需要调用者另定顺序。
③ Thompson Sampling:从可能的成功概率中抽样
Thompson Sampling(TS)保存对未知奖励参数的判断,每轮抽出一组可能的参数,再按这组参数选择。这里用最简单的二元反馈:一次有效观察的结果为点击 1 或未点击 0,单个物品的成功概率暂按稳定值建模。
Beta 分布可以描述一个 0 到 1 的未知概率。两个正参数 α、β 包含初始先验与后续反馈:观察一次点击给 α 加 1,观察一次未点击给 β 加 1;没观察的物品不更新。
每次从各候选的 Beta 后验抽一个可能的成功概率,然后选抽样值最大的候选。抽到的 0.12 既不是已经发生的点击,也不是算法选中它的概率。TS 教程 §3,算法 2
| 物品 | 曝光 / 点击 | 后验参数 | 后验均值 |
|---|---|---|---|
| A | 10,000 / 500 | Beta(501, 9501) | 501÷10002 ≈ 5.009% |
| B | 10 / 1 | Beta(2, 10) | 2÷12 ≈ 16.667% |
横轴相同,纵轴刻度不同:请比较横向位置与宽窄,不比较两幅图的峰高。均值不一定是峰值,B 的峰在 0.1。
曲线是密度,区间下的面积才是概率;图只画到 0.5,B 的右侧未画尾部还有约 0.586% 的概率。
按这组后验各抽一次,B 的样本超过 A 的概率约为 89.8%;这依赖先验、观测和稳定二元模型,不是线上胜率保证。
B 在这个例子中既有更高的后验均值,也有更大的不确定性,不能只归因于样本少。若一个候选被逐渐确认很好,它可能得到更多利用机会;“不确定性下降”本身不意味着曝光必然下降。
代码入口 4:浮点先验、真实反馈与一次选择。下面另造一个内容先验例子:内容模型给物品 0 的初始成功率估计为 0.08,参数总强度设为 20,于是 α=1.6、β=18.4。这个 20 表示先验强度,不是它真的获得了 20 次曝光。
这一段需要 NumPy;本页记录的实跑环境为 Python 3.12.14、NumPy 2.2.6。先验只在该物品尚无真实反馈时设置,之后用 update逐条加入已完成观察窗的结果。
import math
from numbers import Integral, Real
import numpy as np
class ThompsonSampling:
"""二元反馈教学版:每个候选抽一次,k>1 是简化 top-k 变体。"""
def __init__(self, n_items, prior_a=1.0, prior_b=1.0, rng=None):
if isinstance(n_items, bool) or not isinstance(n_items, Integral) or n_items <= 0:
raise ValueError("n_items 必须是正整数")
a, b = self._positive(prior_a), self._positive(prior_b)
if not math.isfinite(a + b):
raise ValueError("先验总强度必须有限")
self.a = np.full(int(n_items), a, dtype=float)
self.b = np.full(int(n_items), b, dtype=float)
self.observations = np.zeros(int(n_items), dtype=np.int64)
self.rng = np.random.default_rng() if rng is None else rng
if not isinstance(self.rng, np.random.Generator):
raise TypeError("rng 必须是 numpy.random.Generator 实例")
@staticmethod
def _positive(value):
if (isinstance(value, bool) or not isinstance(value, Real)
or not math.isfinite(value) or value <= 0):
raise ValueError("参数必须是正的有限数")
return float(value)
def _item(self, item):
if (isinstance(item, (bool, np.bool_)) or not isinstance(item, Integral)
or not 0 <= item < len(self.a)):
raise ValueError("物品编号必须是 0 到 n_items-1 的整数")
return int(item)
def select(self, candidates, k=1):
if isinstance(k, bool) or not isinstance(k, Integral) or k < 0:
raise ValueError("k 必须是非负整数")
if not isinstance(candidates, (list, tuple)):
raise TypeError("candidates 必须是物品编号列表或元组")
ids = [self._item(item) for item in candidates]
if len(ids) != len(set(ids)):
raise ValueError("候选编号不得重复")
if not ids or k == 0:
return []
samples = self.rng.beta(self.a[ids], self.b[ids])
order = np.argsort(-samples, kind="stable")[:int(k)]
return [ids[int(i)] for i in order]
def update(self, item, clicked):
item = self._item(item)
if not isinstance(clicked, (Integral, bool, np.bool_)) or clicked not in (0, 1):
raise ValueError("clicked 只能是已观察到的整数 0/1 或布尔值")
self.a[item] += int(clicked)
self.b[item] += 1 - int(clicked)
self.observations[item] += 1
def set_prior_from_content(self, item, predicted_ctr, strength=20):
item = self._item(item)
p, strength = self._positive(predicted_ctr), self._positive(strength)
if p >= 1:
raise ValueError("predicted_ctr 必须严格位于 0 和 1 之间")
if self.observations[item] != 0:
raise ValueError("已有真实反馈,不能覆盖其先验和观察记录")
a, b = self._positive(p * strength), self._positive((1 - p) * strength)
self.a[item], self.b[item] = a, b
if __name__ == "__main__":
model = ThompsonSampling(3, prior_a=1, prior_b=1, rng=np.random.default_rng(7))
model.set_prior_from_content(0, predicted_ctr=0.08, strength=20)
print(f"prior for 0: a={model.a[0]:.1f}, b={model.b[0]:.1f}")
model.update(0, 1)
model.update(0, 0)
print(f"after feedback: a={model.a[0]:.1f}, b={model.b[0]:.1f}, observations={model.observations[0]}")
print("one decision:", model.select([0, 1, 2]))
print("top-k variant:", model.select([0, 1, 2], k=2))
| 步骤 | 输出 |
|---|---|
| 设置物品 0 的先验 | prior for 0: a=1.6, b=18.4 |
| 加入一次成功与一次失败 | after feedback: a=2.6, b=19.4, observations=2 |
| 随后的一次单动作选择 | one decision: [2] |
| 再调用一次 Top-k 变体 | top-k variant: [2, 1] |
程序把先验参数和真实观察数分开保存。未展示、未被观察或反馈尚未成熟时,不调用 update补一个 0;字符串 false和缺失值会报错。这样“没有反馈”不会被当成“已经失败”。
从一个动作到一组展示,还差什么
上面 TS 的 k=1对应一次单动作选择。k>1只是一个简化变体:每个候选抽一次,按同一组抽样值取前 k 项,并非每个位置重新独立抽样。
真实推荐列表还要处理位置差异、重复项、相互影响,以及用户实际看到了哪些项。要先定义“一个动作”是单物品还是整份列表,以及什么反馈能更新谁;不能把整列未点击都无条件记成各物品失败。
代码允许空候选或 k=0 返回空列表,k 超过候选数时只返回可用项。TS 的抽样值不是日志所需的选择概率,本段也没有计算 TS 的完整选择概率。
什么时候值得考虑 TS,什么时候另选方法?
Beta-Bernoulli 版本的抽样和计数更新很直接,适合用来理解不确定性如何影响选择。更复杂的先验、延迟反馈与并发决策,需要相应建模和实现。
若信息会自然到来、目标只是识别最佳候选,或剩余机会很短,合适的方法可能不同。TS 并非所有工业场景的统一最优方案。TS 教程 §8.2:适用边界
Contextual Bandit:把当前用户和情境也放进来
同一篇体育文章,对不同用户可能有不同价值。Contextual Bandit(上下文老虎机)在选择前使用当前用户、候选和情境的特征,选择后仍只收到实际动作的反馈。
LinUCB 用线性模型结合上下文;Neural Bandit 则用神经网络表达更复杂的关系。关键变化是“根据当前情境决策”,不是给所有用户共用一个物品平均分。不同算法如何表示不确定性,需要分别看模型假设。Li 等:LinUCB 模型与算法;Zhou 等:NeuralUCB
为什么探索还关系到数据与生态
推荐策略不仅使用数据,也影响以后能观察到什么。总是没有机会出现的候选,很难获得用于更新模型的真实反馈。
- 发现新机会:新品和新创作者需要被了解,但机会应受资格、质量与风险约束。
- 补充数据覆盖:为旧策略很少展示的合法候选取得部分反馈,同时记录它们为何、以多大概率被选中。
- 检查多样性与长期目标:覆盖、内容生态和用户体验可以成为目标,需要用预先定义的指标检验,而不是从“用了探索”直接推断留存上涨。
反馈循环可能强化原有偏好,也可能被内容信号、用户主动表达和策略调整改变。先查实际曝光与更新机制,再讨论信息茧房,避免把一种风险讲成所有系统的必然结局。
实践:先定目标,再定预算与记录
冷启动阶段信息少、成熟系统已有反馈、热点内容寿命短,这些情境会改变探索的价值。用剩余机会、证据缺口、可承受损失和业务护栏一起定预算,再通过评估调整。
例如,“新用户 20%–30%、成熟系统 5%–10%、随机日志 1%–5%”只能是待论证的配置例子,不是跨业务推荐比例。三者甚至可能分别指位置占比、随机分支概率和实验流量,必须先写清分母。
高风险场景还需资格审查、专业监督和不可突破的安全边界;把 ε 调低并不能代替这些约束。探索名额、随机采样和上线实验也不应混成同一滑块。
随机日志:有机会被观察,还要能回答指定问题
假设两个动作 A、B 的奖励分别固定为 0、1。日志策略以 90%、10% 的概率选它们,直接平均日志奖励的期望是 0.1;若想评估一个各选 50% 的目标策略,它的期望奖励却是 0.5。
日志本来就是随机的,问题出在它代表的策略与目标策略不同。把一小部分流量称为“随机流量”,不会自动消除这种差异。
- 写清目标:评估哪类用户、哪些合法候选、哪个位置,以及哪一个策略的什么奖励。
- 保存选择过程:记录候选集、上下文、实际动作、位置和已知选择概率,再按约定窗口记录真实反馈。
- 检查覆盖:目标策略可能选到的动作,日志策略也要有机会选择;概率太小还会让估计很不稳定。
- 匹配评估方法:根据采样方式使用合适的重放或加权方法,并报告假设与不确定性。
例如,Li 等的随机日志重放证明明确使用独立同分布事件与均匀随机记录策略;它还需要按目标策略的选择筛选事件,而不是直接平均全部日志。原论文 §4:评估方法与定理 1
这样,随机机会有两个可以分别检验的用途:补充原来稀少的反馈,以及支持指定策略的离线评估。实际是否够用,要看有效样本、覆盖和记录质量,而不是仅看流量比例。
与其他章节接起来
- 强化学习:探索与利用继续比较 ε-greedy、UCB、TS,并理解遗憾界依赖的假设。
- 强化学习在解什么问题把视野扩到动作会影响后续状态的连续决策;本章单步 Bandit 是更窄的起点。
- MAP 与正则化的真身补先验与后验。TS 从后验抽样,MAP 取后验密度最大的参数,两者不是同一种决策。
- 评估与 A/B 实验接着检查实验单位、观察窗口与上线证据。
检查点:能分清规则与证据了吗
- 三种冷启动分别缺什么?为什么很难用一个固定排名回答“哪种最难”?
- 新物品可能陷入怎样的低曝光循环?可以在哪些环节打断它?
- ID-free 双塔为什么可能服务新物品?除了有内容向量,还需要什么条件?
- ε-greedy、UCB、TS 分别依据什么做单次选择?ε=0.1、两个候选时,唯一最高分项的选择概率是多少?
- TS 的简单版本为什么值得作为实践起点?它抽的是什么,为什么不能据此宣布对所有业务都最好?
- 预留随机机会为什么可能同时帮助补充反馈与离线评估?只写“留 1%–5% 随机流量”还缺什么?
查看检查点答案
- 分别缺用户历史、物品交互和系统级历史。难度取决于可用内容、可迁移信息、更新速度和风险;持续上新的业务会长期面对物品冷启动。
- 缺数据可能被评分和召回策略转成低分与低曝光,继而更难取得反馈。可以检查内容表示与索引、初始估计、兜底和受约束的曝光分配,而不是把未知当成低质量。
- 它可用已训练的内容编码器生成新品表示,不依赖该新品专属 ID 嵌入。仍要保证训练与服务处理一致、表示空间匹配、索引更新和资格筛选。
- ε-greedy 混合最高分与均匀随机;UCB 比较均值加乐观奖金;TS 从后验抽可能的奖励参数后选择。本例随机分支也含最高分项,所以完整概率为 0.9+0.1÷2=0.95。
- Beta-Bernoulli 版本的抽样与反馈更新容易看清,也能表达不确定性。它抽的是可能的成功概率,不是已发生的点击或完整选择概率;先验、反馈模型、时限与列表场景会改变适用性。
- 随机机会可以让部分稀少候选被观察,也可能为指定策略的离线评估提供数据。还需明确目标、候选覆盖、位置、选择概率、成熟反馈与匹配的评估方法;比例本身没有无偏保证。
短回顾与下一站
⚡ 走神救援
先记住这几件事
- 新用户与新物品缺少行为数据,需要内容、画像或兜底入口。
- 探索为未知候选收集反馈,利用把流量给当前更有把握的选择。
- 小样本反馈有很大波动,别用一次偶然高低分决定候选命运。
动手任务:到信息流模拟器项目,在同一组环境、种子与预算下比较利用和探索策略。记录新物品覆盖、累计奖励与用户兴趣变化;结论只对应你实际运行的模型和参数,不预设 TS 一定能逆转所有反馈循环。
想看前沿方向,进入14 · 生成式推荐;准备接到实际系统,走15 · 工程落地。先确认你已能区分名额、动作、整组展示和评估目标,再选择下一站。