14 · RL 在推荐与智能体里
⏱ 20 分钟 | 🔌 和本库其他教程接线
时间是起步参考,不是读完期限。本章不要求训练大模型;先学会判断一个任务是否值得引入 RL。
🎯 一句话
推荐和智能体都要做选择,但“在做选择”不等于“必须用强化学习训练”。
先分清三件事:预测用户会不会点、主动试一个还不了解的选项、为一串动作的后果负责。它们需要的数据和方法不一样。
- 想理解推荐冷启动:从探索到底补什么信息读起。
- 想理解工具型 Agent:从运行循环不等于训练循环读起。
- 正在选技术路线:先看何时值得引入 RL,遇到不懂的条件再回来。
🎰 一、推荐系统里的 RL
① 冷启动里,哪些部分是探索问题
冷启动是“缺少新用户或新物品的交互数据”,不是一种特定算法。
新文章没有点击记录,仍可能有标题、类别、作者和正文。用这些内容特征、已有用户偏好或迁移来的表示,可以先做推荐;并非不展示就完全无从了解它。
但你仍不知道:把它展示给这一类用户,真实反应会怎样? 如果只展示已有高分物品,这个问题可能一直得不到直接反馈。
这时出现第 7 章的探索—利用权衡:一部分机会用来选择目前有把握的内容,一部分机会用来获得新信息。探索对象也应先经过质量与安全筛选,不是故意给用户看差内容。
从普通老虎机到上下文老虎机
“臂”在这里就是一个可选物品或方案。如果每轮先看用户和物品特征,再选择展示项,只得到所选项的反馈,并暂不建模这次选择对未来环境状态的影响,就可以用上下文老虎机(Contextual Bandit)描述。
| 建模方式 | 选择前知道什么 | 要估计什么 |
|---|---|---|
| 普通随机老虎机的基础设定 | 物品与历史反馈 | 每个物品固定但未知的平均回报 |
| 上下文老虎机 | 再加本次用户、物品、时间等特征 | 当前上下文下,各选项的预期回报 |
例如,同一篇 Python 入门文,对第一次学编程的人和熟练开发者价值不同。上下文不是只有“用户是谁”,也可以包括内容属性和访问场景。
LinUCB 用一个线性奖励模型估计回报,再给不确定的选项加探索余量;带特征的 Thompson Sampling 则对奖励模型的未知参数采样,再选采样模型认为最好的选项。两者的效果都受模型假设与特征质量影响。
Li 等人的新闻推荐论文(2010)是 LinUCB 的具体应用证据,不是“所有工业推荐都这么做”的调查。
Thompson Sampling 不是“按点击率抽签”
推荐算法第 13 章的 Thompson Sampling,和本教程第 7 章讲的是同一种后验采样思路。
假设根据当前数据和所选概率模型,A 有 70% 的后验概率成为最优选项,B 有 30%。在精确采样、最优项没有并列的设定下,Thompson Sampling 选择它们的概率也是 70% 和 30%。
这不表示 A 的点击率是 70%。 它表达的是“依据现有信息,A 最好的可能性”。先验或模型失准,探索也可能分配得不好;理论上的遗憾界不等于业务安全保证。Thompson Sampling 作者教程,第 3、6、8 章
② 长期价值:重点不是“反馈晚”,而是动作改变以后
点击率(CTR)能反映一次展示是否吸引点击,却不能独自回答用户是否满意、以后是否还愿意来。
只奖励点击,可能让系统偏向夸张标题;只强化已有偏好,可能减少多样性。但“优化 CTR 必然造成标题党或信息茧房”过于绝对:内容约束、多目标排序、重排和产品设计也会影响结果。
当今天推荐什么,会改变用户后续的兴趣、可选内容或继续访问的意愿,就值得研究序贯决策。状态可以是用户历史的摘要,动作可以是一个物品或整组推荐,奖励需要明确时间窗口和目标。
一个两次访问的小算例
下面是假设的数据,不是平台实验结果。一次点击记 1 分,没有点击记 0 分;只观察今天和明天,明天的分数乘 0.9。
明天的预期分数已把“用户没有回来时记 0”算进去,并且假设明天继续使用同一个后续策略。这里只比较今天的两种选择。
| 今天选什么 | 今天的预期分数 | 明天的预期分数 |
|---|---|---|
| 内容 A | 0.8 | 0.1 |
| 内容 B | 0.5 | 0.7 |
只看今天,选 A。 0.8 大于 0.5。
按两天的目标,选 B。 A 的合计是 0.8 + 0.9 × 0.1 = 0.89;B 是 0.5 + 0.9 × 0.7 = 1.13。
你现在应该注意的是:第一次动作改变了后续回报。 真实系统必须用可信证据估计这种影响,不能把日志里的相关性直接当成因果效果。
三种思路,不能只按指标名称区分
| 思路 | 主要在解决什么 | 没有自动解决什么 |
|---|---|---|
| 监督预测 / 排序 | 从有标签样本预测点击、购买或留存等结果 | 展示选择偏差、未见选项的反馈、主动探索 |
| 上下文老虎机 | 根据本次上下文选动作,只看到所选动作的反馈 | 动作如何改变后续状态和未来机会 |
| 序贯 RL | 结合状态转移,优化多步累计回报 | 奖励是否符合真实需求、数据是否可信 |
监督模型也能预测延迟购买或留存;老虎机也可以处理延迟反馈,并且通常累计多轮收益。 与这里的序贯 RL 相比,标准上下文老虎机不建模当前动作对未来环境状态的影响。不能把“反馈晚”“累计收益”单独当成 RL 的专属标志。
留存、观看时长、GMV(商品交易总额)是不同目标,不是同一单位的“长期价值”。GMV 也不是利润;需要说明奖励口径、观察窗口,以及满意度等约束。
⚠️ 实际落地要过的四道关
1. 探索有成本,但不是一概不能线上试
推荐新选项可能损失短期收益或影响体验。可以考虑限定候选集、限制探索流量、保留基线策略、设置人工审核与停止条件;是否允许线上实验,还取决于场景风险与授权。
不能由此推出“只能离线”或“完整 RL 只能在模拟器里用”。SlateQ 论文(2019)报告了模拟实验,也报告了 YouTube 上的线上实验。这是特定方法的应用证据,不代表其他系统上线也会成功。
2. 奖励容易算,不一定就定义对了
观看时间增加,可能是内容有价值,也可能是用户难以找到想要的内容。交易额增加,也可能伴随退货或投诉。
因此要分别记录主目标和质量约束,核对短期与长期指标。优化算法追逐的是你写下的目标,不会替你判断目标是否合理。
3. 日志只记录发生过的选择
没有展示 B 时,“B 没被点击”不是 B 的负反馈,而是 B 的反馈没有被观察到。 除了候选选择,展示位置、用户构成也会影响日志里的点击比例。
看一份人为构造的日志。每格依次是“点击数 / 展示数 = 点击率”:
| 用户组 | 内容 A | 内容 B |
|---|---|---|
| 新手 | 1 / 10 = 10% | 18 / 90 = 20% |
| 熟练用户 | 54 / 90 = 60% | 7 / 10 = 70% |
| 不分组的合计 | 55 / 100 = 55% | 25 / 100 = 25% |
只看合计,A 看起来更好;分别看两组,B 的观察点击率都更高。 原因是 A 大多展示给了本来就更容易点击的熟练用户。
这说明混在一起的点击率会误导比较,不证明 B 有更好的因果效果:即使按用户组拆开,也可能还有未记录的差异。一次用户看到 A 后的行为,不能告诉我们同一次机会展示 B 会怎样,这就是缺少反事实。
离线策略评估(OPE)试着从旧日志估计新策略的价值,不需要先把新策略放到真实用户面前。IPS 会用日志策略的选择概率修正样本权重;DR 还结合奖励预测模型。方法与偏差、方差分析见 Dudík 等人的原论文。
使用这些估计要先核对:相关上下文和选择概率是否记录正确,新策略想选的动作在日志策略下是否有机会出现,以及样本量是否足够。
概率为 0 的缺口,不能靠加权凭空补出;概率很小,估计可能波动很大。 缺乏覆盖时,预测模型的外推需要额外假设,不能包装成已经测到了真实效果。
离线 RL 是利用已有数据学习策略,不是离线评估的别名。它还可能把数据稀少区域的价值估错,并在优化时偏向这些高估值。离线 RL 教程讨论了这类分布偏移问题。
4. 用户和内容会变,旧结论要复验
兴趣、季节和内容池变化,都可能让旧模型失准;多久失准需要测量,不能断言策略一定很快过时。
离线评估、模拟器和受控线上实验各有作用:前两者用于筛查和预演,后者在允许的条件下检验实际影响。模拟器依赖假设,离线分数有不确定性,小流量实验也不是无风险。
实际选择可以从监督排序基线开始;确实需要收集所选动作反馈、且忽略长期状态影响是合理近似时,再考虑上下文老虎机。若多步影响重要,再比较序贯 RL。这里不给“大部分工业系统”的无依据占比。
推荐里先分清三个问题:预测是否准确、日志缺了哪些反馈、今天的动作是否改变以后。只因某个指标延迟出现,并不足以决定使用 RL。
🤖 二、智能体里的 RL
运行一个 Agent,与训练它的决策策略,是两件事。
例如一个订单助手可以按以下顺序工作:
- 观察:读用户的问题与当前已知信息。
- 选择:决定先查订单,还是请用户补充订单号。
- 执行:在已有权限内调用工具,取得结果。
- 继续或结束:根据新结果决定下一步;还没完成就继续这个循环。
即使每次决策都由一个参数不变的语言模型完成,这个循环也能运行。上下文增加不等于模型权重被更新。ReAct 原论文就包含只用少量提示词示例进行交互决策的实验。
用 MDP 的语言描述,不等于已经满足 MDP 条件
| 建模要素 | 订单助手里的例子 |
|---|---|
| 环境状态 | 实际订单、库存、账户权限等;助手未必全部知道 |
| 观察与历史 | 用户消息、工具返回、此前操作记录 |
| 动作 | 选择工具及参数,也可以询问、回答或结束任务 |
| 转移 | 工具动作与外部事件怎样改变环境 |
| 奖励 | 训练或评估时定义的完成质量、成本与违规代价 |
这里的关键条件是Markov 性:给定选定的状态与动作,预测下一步和奖励时不再需要更早的历史。把一段上下文命名为“状态”,不会自动满足这个条件。
现实工具环境常有隐藏信息,所以可以用部分可观测 MDP(POMDP)建模。即使能装下全部对话,也不代表能看到真实库存、网络故障原因或其他人的并发操作;上下文截断只是额外的信息损失。
历史、记忆摘要或对隐藏状态的信念估计可以帮助决策,但并不天然等于充分状态。细节需要结合第 2 章的 MDP核对。
智能体工程教程主要帮助你把运行循环、工具与权限做好。如果再利用交互结果和奖励来优化策略,才进入相应的 RL 训练问题;也可以用专家示范做模仿学习,或先改进提示词与工作流。
智能体训练的五类难点,不是“必然比游戏更难”
游戏也可能有长任务、稀疏奖励和隐藏状态。下面是在工具型 Agent 中需要检查的五类问题,不是两个领域的难度排名。
1. 奖励稀疏。 几十步后才知道任务是否完成时,很难分辨哪些动作有帮助。可验证的中间结果可能提供反馈,但随便加过程分也可能改变原目标。
2. 动作空间大。 不只是选哪个工具,还要填参数、组织文本、决定何时结束。工具白名单和参数约束能缩小合法动作集合,但不能代替任务判断。
3. 部分可观测。 工具只返回一部分信息,也可能出错。长上下文能缓解遗忘,却不能消除环境本身的隐藏状态。
4. 错误会传播,但不一定无法恢复。 查错订单可能导致后续误判;复查、澄清和撤销有时能修复。涉及不可逆操作时,应在执行前确认,而不是只给事后惩罚。
5. 试验环境不总能完整重置。 沙箱文件可以恢复,真实邮件发送或外部交易未必可以撤回。训练和评估应尽量隔离副作用,并核对沙箱与真实环境的差异。
🧩 四条已有研究路线:可以组合,不是四步必做流程
1. RLVR:用可验证结果产生奖励
RLVR 指使用可验证奖励进行强化学习。例如数学答案校验、代码在测试用例上的结果;编译通过本身只说明满足了编译检查,不代表程序功能正确。DeepSeek-R1 论文第 2.2.2 节给出了规则奖励的具体训练实例。
没有学习出来的奖励模型,也可能发生奖励投机。 例如测试不完整时,程序可能只适配测试样例;若助手能修改判分依据,还可能破坏验证过程。独立测试、隔离验证器与任务质量复核依然必要。
这种“满足分数规则却没完成真实目标”的问题,不以神经奖励模型为前提。DeepMind 对 specification gaming 的研究说明专门区分了目标、奖励与环境漏洞。也可回看第 12 章的奖励局限。
2. 过程监督与 PRM:指出中间哪一步有问题
过程监督给中间步骤提供反馈;PRM 是学习这些反馈的过程奖励模型。它能帮助定位错误、筛选轨迹,也可能作为 RL 的奖励来源,但“训练了 PRM”不等于“用 RL 更新了生成模型”。
例如 Let's Verify Step by Step训练并比较奖励模型,使用它们从多份候选解中选择答案。过程标签仍可能错,PRM 也可能被过度优化,不能保证缓解所有稀疏奖励问题。
3. 拒绝采样与专家迭代:别把筛选等同于训练
一个做法是:生成多条轨迹,验证后保留合格轨迹,再用监督微调(SFT)学习这些示例。若只是挑一个结果返回给用户,没有参数更新,那是推理时筛选,不是训练。
STaR(2022)是具体的迭代生成与微调案例,还包含在已知正确答案条件下重新生成推理的步骤。验证失败的轨迹不会自动变成高质量示范;成功太少、验证不准或数据单一,都会限制这种做法。
原始“专家迭代”不只是丢掉失败样本。 Expert Iteration 论文让搜索形成更强的决策,再由网络学习,并用网络反过来辅助搜索。这也连接到下一条路线。
4. 搜索 + 学习:规划与参数更新分别看
MCTS(蒙特卡洛树搜索)等方法可以在决策时比较多种后续选择。搜索本身是规划,不一定会改变模型参数;把搜索得到的策略或轨迹用于后续学习,才是“搜索 + 学习”的组合。
工具环境还要回答:能否安全试走分支、能否恢复现场、模拟结果是否可信。不能在真实环境中把发送邮件、扣款之类的动作当成可随意回退的搜索分支。原始 Expert Iteration 的游戏实验也不能证明它可直接照搬到任意工具环境。
四条路线处理的是不同环节:奖励怎么来、步骤怎么评价、训练样本怎么选、行动怎么规划。 它们可以结合,也各自引入成本和误差;不是都能绕开奖励模型或在线探索。
第 13 章的 DPO 与免 RL 方法提供另外一些利用偏好或筛选数据的办法。选方法时要看数据形式和优化目标,而不是把所有替代方法都归因为“RL 太贵”。
🧭 三、什么时候真的该用 RL
先写清目标与反馈,再决定是否增加 RL 这层复杂度。 下面是起步顺序,不是排他的算法分类。
- 先有基线。 如果高质量示范或标签足够,先尝试监督预测、SFT 或明确的工作流,观察哪里做不好。已有示范并不禁止后续再用 RL。
- 检查缺的是哪种信息。 单次选择后只能知道所选项的效果,且需要主动探索时,上下文老虎机可能合适;“反馈立即”并不意味着分类或回归一定足够。
- 检查动作是否影响以后。 多步状态影响重要时,考虑序贯 RL;如果已有可靠的环境模型,也可能先用规划。目标能评分,本身还不足以决定用哪一种。
- 检查是否有可信的学习与验收条件。 奖励是否对准目标?已有数据覆盖多少?是否有可承受的探索、可靠模拟器或适用的离线方法?最后靠什么独立证据判断改进?
可验证奖励与模拟器都不是充分条件,也不是所有 RL 的必要条件。 离线 RL 可以不新增在线数据;模型无关方法可以没有模拟器。但缺少数据覆盖、可靠反馈或安全试验条件时,不能只因算法存在就上线。
医疗、金融等高风险场景尤其不能随意探索;这也不等于“换成监督学习便自动安全”。需有场景相应的专业验证、风险控制与授权,本章不提供这些场景的部署方案。
可以带走的判断: 有示范,先看能否学会模仿;只有所选项的反馈,检查是否需要探索;动作影响未来,再检查是否值得建模为序贯决策。这三个判断可以同时成立。
“能写正确答案就只能监督学习,能判断好坏就必须 RL”不成立。数学题有正确答案也能用可验证奖励训练;能评分的任务也可能用搜索、排序或筛选后的 SFT 解决。
🔗 四、按问题找相关教程
按你现在的问题选一行,不必把所有链接依次读完。
| 其他教程里的内容 | 对应本教程哪一章 |
|---|---|
| 推荐算法 13 · 冷启动的 Thompson Sampling | 07 探索与利用:理解探索,不把全部冷启动都归为老虎机 |
| 推荐算法 · 重排与多样性 | 本章:区分当前列表约束与长期状态影响;重排不必是 RL |
| 全景导论主线 4 · 它怎样从续写机变助手 | 11 PPO + 12 RLHF:一种具体训练路线 |
| 全景导论 12 · 对齐与安全 | 12 RLHF + 13 DPO:奖励与偏好方法的边界 |
| 智能体工程 · Agent 循环 | 02 MDP:检查状态与观察,而不是看到工具循环就判定在做 RL |
| ML 基础 09 · 优化器 | 08 DQN、11 PPO:优化器服务于已经定义好的目标 |
| 数学原理 08 · 偏差方差 | 05 蒙特卡洛与 TD、10 Actor-Critic / GAE:估计误差的权衡,具体假设仍需分别核对 |
✅ 检查点
- 推荐冷启动中,什么情况会出现探索—利用问题?为什么不等于全部冷启动?
- 上下文老虎机比普通老虎机多了什么?它是不是完整的长期状态模型?
- 只看 CTR 可能漏掉什么?两次访问的例子里,为什么 A 不是两天目标下的更优选择?
- 推荐落地要检查哪四类问题?为什么不能只比旧日志的总点击率,也不能断言完全不能线上实验?
- Agent 的状态、观察、动作、转移和奖励分别是什么?工具循环是否证明它用了 RL 训练?
- 工具型 Agent 的五类训练难点是什么?为什么“全历史在上下文里”和“能回滚文件”仍不够?
- RLVR、PRM、拒绝采样 / 专家迭代、搜索 + 学习各在处理什么?它们是否都免除了奖励风险?
- 怎样在监督学习、上下文老虎机、规划与序贯 RL 之间作起步选择?“有正确答案”是分界线吗?
👀 答案
-
需要主动展示才能补足实际用户反馈时,会出现探索—利用权衡。内容特征、用户信息和迁移也能缓解冷启动;不展示不等于完全不知道物品内容。
-
多了当前用户、物品、场景等上下文特征,可以用 LinUCB 或带特征的 Thompson Sampling。标准上下文老虎机不建模当前动作改变未来环境状态;也不保证线上风险可控。
-
可能漏掉满意度、留存、多样性等,但并非必然造成某一种坏结果。例子中 A 合计 0.89,B 为 1.13;这些是假设的两次访问回报,不是实际平台结论。
-
探索成本、奖励定义、反事实与选择偏差、非平稳。用户构成不同会扭曲总点击率;离线评估要核对覆盖和选择概率等条件。受控线上实验有实际研究案例,但需要风险控制,不能把任何一种方法当作通用安全保证。
-
状态是环境的相关真实信息;观察是实际能取得的部分信息;动作包括工具、参数、询问和结束;转移来自动作及外部事件;奖励是另行定义的反馈。参数固定的模型也能运行工具循环,不等于正在 RL 训练。
-
稀疏奖励、大动作空间、部分可观测、错误传播、难以完整重置环境。全部对话也不包含全部外部状态;恢复本地文件不能撤销所有外部副作用。这些难点也会出现在游戏中。
-
RLVR 提供可验证奖励;PRM 学习步骤评价;筛选后 SFT 学习合格示例,原始专家迭代结合搜索与学习;搜索负责规划,是否更新参数要另看。规则验证、过程评分与模拟器都可能有漏洞,四条路线并非都免 RL,也不是必做的四个阶段。
-
先做可验证的监督或工作流基线,再看是否缺所选动作的反馈、是否需要探索、动作是否影响以后;有可靠模型时也可考虑规划。奖励、数据、风险和独立评估共同约束选择。有正确答案也能用 RL,能评分也不必用 RL。
本节回顾
⚡ 走神救援
先记住这几件事
- 推荐先区分预测、探索与长期状态影响;冷启动不等于必须做 RL。
- 工具循环是运行方式,RL 是训练方式;上下文也不自动等于完整环境状态。
- 规则奖励、离线评估与模拟器都有适用条件,不能代替真实目标和独立验收。
下一节 👉 15 · 实战与挑战项目