🏠 总目录📚 本教程 14 · RL 在推荐与智能体里 ← →

推荐或智能体任务,何时值得承担 RL 的额外成本?

读后可检查:按延迟后果、反馈可得性和交互条件判断问题,再对照推荐与智能体案例。

📑 本页目录(点开跳转)

14 · RL 在推荐与智能体里

⏱ 20 分钟 | 🔌 和本库其他教程接线

时间是起步参考,不是读完期限。本章不要求训练大模型;先学会判断一个任务是否值得引入 RL。

🎯 一句话

推荐和智能体都要做选择,但“在做选择”不等于“必须用强化学习训练”。

先分清三件事:预测用户会不会点、主动试一个还不了解的选项、为一串动作的后果负责。它们需要的数据和方法不一样。

🎰 一、推荐系统里的 RL

① 冷启动里,哪些部分是探索问题

冷启动是“缺少新用户或新物品的交互数据”,不是一种特定算法。

新文章没有点击记录,仍可能有标题、类别、作者和正文。用这些内容特征、已有用户偏好或迁移来的表示,可以先做推荐;并非不展示就完全无从了解它。

但你仍不知道:把它展示给这一类用户,真实反应会怎样? 如果只展示已有高分物品,这个问题可能一直得不到直接反馈。

这时出现第 7 章的探索—利用权衡:一部分机会用来选择目前有把握的内容,一部分机会用来获得新信息。探索对象也应先经过质量与安全筛选,不是故意给用户看差内容。

从普通老虎机到上下文老虎机

“臂”在这里就是一个可选物品或方案。如果每轮先看用户和物品特征,再选择展示项,只得到所选项的反馈,并暂不建模这次选择对未来环境状态的影响,就可以用上下文老虎机(Contextual Bandit)描述。

建模方式 选择前知道什么 要估计什么
普通随机老虎机的基础设定 物品与历史反馈 每个物品固定但未知的平均回报
上下文老虎机 再加本次用户、物品、时间等特征 当前上下文下,各选项的预期回报

例如,同一篇 Python 入门文,对第一次学编程的人和熟练开发者价值不同。上下文不是只有“用户是谁”,也可以包括内容属性和访问场景。

LinUCB 用一个线性奖励模型估计回报,再给不确定的选项加探索余量;带特征的 Thompson Sampling 则对奖励模型的未知参数采样,再选采样模型认为最好的选项。两者的效果都受模型假设与特征质量影响。

Li 等人的新闻推荐论文(2010)是 LinUCB 的具体应用证据,不是“所有工业推荐都这么做”的调查。

Thompson Sampling 不是“按点击率抽签”

推荐算法第 13 章的 Thompson Sampling,和本教程第 7 章讲的是同一种后验采样思路。

假设根据当前数据和所选概率模型,A 有 70% 的后验概率成为最优选项,B 有 30%。在精确采样、最优项没有并列的设定下,Thompson Sampling 选择它们的概率也是 70% 和 30%。

这不表示 A 的点击率是 70%。 它表达的是“依据现有信息,A 最好的可能性”。先验或模型失准,探索也可能分配得不好;理论上的遗憾界不等于业务安全保证。Thompson Sampling 作者教程,第 3、6、8 章

② 长期价值:重点不是“反馈晚”,而是动作改变以后

点击率(CTR)能反映一次展示是否吸引点击,却不能独自回答用户是否满意、以后是否还愿意来。

只奖励点击,可能让系统偏向夸张标题;只强化已有偏好,可能减少多样性。但“优化 CTR 必然造成标题党或信息茧房”过于绝对:内容约束、多目标排序、重排和产品设计也会影响结果。

当今天推荐什么,会改变用户后续的兴趣、可选内容或继续访问的意愿,就值得研究序贯决策。状态可以是用户历史的摘要,动作可以是一个物品或整组推荐,奖励需要明确时间窗口和目标。

一个两次访问的小算例

下面是假设的数据,不是平台实验结果。一次点击记 1 分,没有点击记 0 分;只观察今天和明天,明天的分数乘 0.9。

明天的预期分数已把“用户没有回来时记 0”算进去,并且假设明天继续使用同一个后续策略。这里只比较今天的两种选择。

今天选什么今天的预期分数明天的预期分数
内容 A0.80.1
内容 B0.50.7

只看今天,选 A。 0.8 大于 0.5。

按两天的目标,选 B。 A 的合计是 0.8 + 0.9 × 0.1 = 0.89;B 是 0.5 + 0.9 × 0.7 = 1.13。

你现在应该注意的是:第一次动作改变了后续回报。 真实系统必须用可信证据估计这种影响,不能把日志里的相关性直接当成因果效果。

三种思路,不能只按指标名称区分

思路 主要在解决什么 没有自动解决什么
监督预测 / 排序 从有标签样本预测点击、购买或留存等结果 展示选择偏差、未见选项的反馈、主动探索
上下文老虎机 根据本次上下文选动作,只看到所选动作的反馈 动作如何改变后续状态和未来机会
序贯 RL 结合状态转移,优化多步累计回报 奖励是否符合真实需求、数据是否可信

监督模型也能预测延迟购买或留存;老虎机也可以处理延迟反馈,并且通常累计多轮收益。 与这里的序贯 RL 相比,标准上下文老虎机不建模当前动作对未来环境状态的影响。不能把“反馈晚”“累计收益”单独当成 RL 的专属标志。

留存、观看时长、GMV(商品交易总额)是不同目标,不是同一单位的“长期价值”。GMV 也不是利润;需要说明奖励口径、观察窗口,以及满意度等约束。

⚠️ 实际落地要过的四道关

1. 探索有成本,但不是一概不能线上试

推荐新选项可能损失短期收益或影响体验。可以考虑限定候选集、限制探索流量、保留基线策略、设置人工审核与停止条件;是否允许线上实验,还取决于场景风险与授权。

不能由此推出“只能离线”或“完整 RL 只能在模拟器里用”。SlateQ 论文(2019)报告了模拟实验,也报告了 YouTube 上的线上实验。这是特定方法的应用证据,不代表其他系统上线也会成功。

2. 奖励容易算,不一定就定义对了

观看时间增加,可能是内容有价值,也可能是用户难以找到想要的内容。交易额增加,也可能伴随退货或投诉。

因此要分别记录主目标和质量约束,核对短期与长期指标。优化算法追逐的是你写下的目标,不会替你判断目标是否合理。

3. 日志只记录发生过的选择

没有展示 B 时,“B 没被点击”不是 B 的负反馈,而是 B 的反馈没有被观察到。 除了候选选择,展示位置、用户构成也会影响日志里的点击比例。

看一份人为构造的日志。每格依次是“点击数 / 展示数 = 点击率”:

用户组内容 A内容 B
新手1 / 10 = 10%18 / 90 = 20%
熟练用户54 / 90 = 60%7 / 10 = 70%
不分组的合计55 / 100 = 55%25 / 100 = 25%

只看合计,A 看起来更好;分别看两组,B 的观察点击率都更高。 原因是 A 大多展示给了本来就更容易点击的熟练用户。

这说明混在一起的点击率会误导比较,不证明 B 有更好的因果效果:即使按用户组拆开,也可能还有未记录的差异。一次用户看到 A 后的行为,不能告诉我们同一次机会展示 B 会怎样,这就是缺少反事实。

离线策略评估(OPE)试着从旧日志估计新策略的价值,不需要先把新策略放到真实用户面前。IPS 会用日志策略的选择概率修正样本权重;DR 还结合奖励预测模型。方法与偏差、方差分析见 Dudík 等人的原论文。

使用这些估计要先核对:相关上下文和选择概率是否记录正确,新策略想选的动作在日志策略下是否有机会出现,以及样本量是否足够。

概率为 0 的缺口,不能靠加权凭空补出;概率很小,估计可能波动很大。 缺乏覆盖时,预测模型的外推需要额外假设,不能包装成已经测到了真实效果。

离线 RL 是利用已有数据学习策略,不是离线评估的别名。它还可能把数据稀少区域的价值估错,并在优化时偏向这些高估值。离线 RL 教程讨论了这类分布偏移问题。

4. 用户和内容会变,旧结论要复验

兴趣、季节和内容池变化,都可能让旧模型失准;多久失准需要测量,不能断言策略一定很快过时。

离线评估、模拟器和受控线上实验各有作用:前两者用于筛查和预演,后者在允许的条件下检验实际影响。模拟器依赖假设,离线分数有不确定性,小流量实验也不是无风险。

实际选择可以从监督排序基线开始;确实需要收集所选动作反馈、且忽略长期状态影响是合理近似时,再考虑上下文老虎机。若多步影响重要,再比较序贯 RL。这里不给“大部分工业系统”的无依据占比。

推荐里先分清三个问题:预测是否准确、日志缺了哪些反馈、今天的动作是否改变以后。只因某个指标延迟出现,并不足以决定使用 RL。

🤖 二、智能体里的 RL

运行一个 Agent,与训练它的决策策略,是两件事。

例如一个订单助手可以按以下顺序工作:

  1. 观察:读用户的问题与当前已知信息。
  2. 选择:决定先查订单,还是请用户补充订单号。
  3. 执行:在已有权限内调用工具,取得结果。
  4. 继续或结束:根据新结果决定下一步;还没完成就继续这个循环。

即使每次决策都由一个参数不变的语言模型完成,这个循环也能运行。上下文增加不等于模型权重被更新。ReAct 原论文就包含只用少量提示词示例进行交互决策的实验。

用 MDP 的语言描述,不等于已经满足 MDP 条件

建模要素订单助手里的例子
环境状态实际订单、库存、账户权限等;助手未必全部知道
观察与历史用户消息、工具返回、此前操作记录
动作选择工具及参数,也可以询问、回答或结束任务
转移工具动作与外部事件怎样改变环境
奖励训练或评估时定义的完成质量、成本与违规代价

这里的关键条件是Markov 性:给定选定的状态与动作,预测下一步和奖励时不再需要更早的历史。把一段上下文命名为“状态”,不会自动满足这个条件。

现实工具环境常有隐藏信息,所以可以用部分可观测 MDP(POMDP)建模。即使能装下全部对话,也不代表能看到真实库存、网络故障原因或其他人的并发操作;上下文截断只是额外的信息损失。

历史、记忆摘要或对隐藏状态的信念估计可以帮助决策,但并不天然等于充分状态。细节需要结合第 2 章的 MDP核对。

智能体工程教程主要帮助你把运行循环、工具与权限做好。如果再利用交互结果和奖励来优化策略,才进入相应的 RL 训练问题;也可以用专家示范做模仿学习,或先改进提示词与工作流。

智能体训练的五类难点,不是“必然比游戏更难”

游戏也可能有长任务、稀疏奖励和隐藏状态。下面是在工具型 Agent 中需要检查的五类问题,不是两个领域的难度排名。

1. 奖励稀疏。 几十步后才知道任务是否完成时,很难分辨哪些动作有帮助。可验证的中间结果可能提供反馈,但随便加过程分也可能改变原目标。

2. 动作空间大。 不只是选哪个工具,还要填参数、组织文本、决定何时结束。工具白名单和参数约束能缩小合法动作集合,但不能代替任务判断。

3. 部分可观测。 工具只返回一部分信息,也可能出错。长上下文能缓解遗忘,却不能消除环境本身的隐藏状态。

4. 错误会传播,但不一定无法恢复。 查错订单可能导致后续误判;复查、澄清和撤销有时能修复。涉及不可逆操作时,应在执行前确认,而不是只给事后惩罚。

5. 试验环境不总能完整重置。 沙箱文件可以恢复,真实邮件发送或外部交易未必可以撤回。训练和评估应尽量隔离副作用,并核对沙箱与真实环境的差异。

🧩 四条已有研究路线:可以组合,不是四步必做流程

1. RLVR:用可验证结果产生奖励

RLVR 指使用可验证奖励进行强化学习。例如数学答案校验、代码在测试用例上的结果;编译通过本身只说明满足了编译检查,不代表程序功能正确。DeepSeek-R1 论文第 2.2.2 节给出了规则奖励的具体训练实例。

没有学习出来的奖励模型,也可能发生奖励投机。 例如测试不完整时,程序可能只适配测试样例;若助手能修改判分依据,还可能破坏验证过程。独立测试、隔离验证器与任务质量复核依然必要。

这种“满足分数规则却没完成真实目标”的问题,不以神经奖励模型为前提。DeepMind 对 specification gaming 的研究说明专门区分了目标、奖励与环境漏洞。也可回看第 12 章的奖励局限。

2. 过程监督与 PRM:指出中间哪一步有问题

过程监督给中间步骤提供反馈;PRM 是学习这些反馈的过程奖励模型。它能帮助定位错误、筛选轨迹,也可能作为 RL 的奖励来源,但“训练了 PRM”不等于“用 RL 更新了生成模型”。

例如 Let's Verify Step by Step训练并比较奖励模型,使用它们从多份候选解中选择答案。过程标签仍可能错,PRM 也可能被过度优化,不能保证缓解所有稀疏奖励问题。

3. 拒绝采样与专家迭代:别把筛选等同于训练

一个做法是:生成多条轨迹,验证后保留合格轨迹,再用监督微调(SFT)学习这些示例。若只是挑一个结果返回给用户,没有参数更新,那是推理时筛选,不是训练。

STaR(2022)是具体的迭代生成与微调案例,还包含在已知正确答案条件下重新生成推理的步骤。验证失败的轨迹不会自动变成高质量示范;成功太少、验证不准或数据单一,都会限制这种做法。

原始“专家迭代”不只是丢掉失败样本。 Expert Iteration 论文让搜索形成更强的决策,再由网络学习,并用网络反过来辅助搜索。这也连接到下一条路线。

MCTS(蒙特卡洛树搜索)等方法可以在决策时比较多种后续选择。搜索本身是规划,不一定会改变模型参数;把搜索得到的策略或轨迹用于后续学习,才是“搜索 + 学习”的组合。

工具环境还要回答:能否安全试走分支、能否恢复现场、模拟结果是否可信。不能在真实环境中把发送邮件、扣款之类的动作当成可随意回退的搜索分支。原始 Expert Iteration 的游戏实验也不能证明它可直接照搬到任意工具环境。

四条路线处理的是不同环节:奖励怎么来、步骤怎么评价、训练样本怎么选、行动怎么规划。 它们可以结合,也各自引入成本和误差;不是都能绕开奖励模型或在线探索。

第 13 章的 DPO 与免 RL 方法提供另外一些利用偏好或筛选数据的办法。选方法时要看数据形式和优化目标,而不是把所有替代方法都归因为“RL 太贵”。

🧭 三、什么时候真的该用 RL

先写清目标与反馈,再决定是否增加 RL 这层复杂度。 下面是起步顺序,不是排他的算法分类。

  1. 先有基线。 如果高质量示范或标签足够,先尝试监督预测、SFT 或明确的工作流,观察哪里做不好。已有示范并不禁止后续再用 RL。
  2. 检查缺的是哪种信息。 单次选择后只能知道所选项的效果,且需要主动探索时,上下文老虎机可能合适;“反馈立即”并不意味着分类或回归一定足够。
  3. 检查动作是否影响以后。 多步状态影响重要时,考虑序贯 RL;如果已有可靠的环境模型,也可能先用规划。目标能评分,本身还不足以决定用哪一种。
  4. 检查是否有可信的学习与验收条件。 奖励是否对准目标?已有数据覆盖多少?是否有可承受的探索、可靠模拟器或适用的离线方法?最后靠什么独立证据判断改进?

可验证奖励与模拟器都不是充分条件,也不是所有 RL 的必要条件。 离线 RL 可以不新增在线数据;模型无关方法可以没有模拟器。但缺少数据覆盖、可靠反馈或安全试验条件时,不能只因算法存在就上线。

医疗、金融等高风险场景尤其不能随意探索;这也不等于“换成监督学习便自动安全”。需有场景相应的专业验证、风险控制与授权,本章不提供这些场景的部署方案。

可以带走的判断: 有示范,先看能否学会模仿;只有所选项的反馈,检查是否需要探索;动作影响未来,再检查是否值得建模为序贯决策。这三个判断可以同时成立。

“能写正确答案就只能监督学习,能判断好坏就必须 RL”不成立。数学题有正确答案也能用可验证奖励训练;能评分的任务也可能用搜索、排序或筛选后的 SFT 解决。

🔗 四、按问题找相关教程

按你现在的问题选一行,不必把所有链接依次读完。

其他教程里的内容 对应本教程哪一章
推荐算法 13 · 冷启动的 Thompson Sampling 07 探索与利用:理解探索,不把全部冷启动都归为老虎机
推荐算法 · 重排与多样性 本章:区分当前列表约束与长期状态影响;重排不必是 RL
全景导论主线 4 · 它怎样从续写机变助手 11 PPO + 12 RLHF:一种具体训练路线
全景导论 12 · 对齐与安全 12 RLHF + 13 DPO:奖励与偏好方法的边界
智能体工程 · Agent 循环 02 MDP:检查状态与观察,而不是看到工具循环就判定在做 RL
ML 基础 09 · 优化器 08 DQN、11 PPO:优化器服务于已经定义好的目标
数学原理 08 · 偏差方差 05 蒙特卡洛与 TD、10 Actor-Critic / GAE:估计误差的权衡,具体假设仍需分别核对

✅ 检查点

  1. 推荐冷启动中,什么情况会出现探索—利用问题?为什么不等于全部冷启动?
  2. 上下文老虎机比普通老虎机多了什么?它是不是完整的长期状态模型?
  3. 只看 CTR 可能漏掉什么?两次访问的例子里,为什么 A 不是两天目标下的更优选择?
  4. 推荐落地要检查哪四类问题?为什么不能只比旧日志的总点击率,也不能断言完全不能线上实验?
  5. Agent 的状态、观察、动作、转移和奖励分别是什么?工具循环是否证明它用了 RL 训练?
  6. 工具型 Agent 的五类训练难点是什么?为什么“全历史在上下文里”和“能回滚文件”仍不够?
  7. RLVR、PRM、拒绝采样 / 专家迭代、搜索 + 学习各在处理什么?它们是否都免除了奖励风险?
  8. 怎样在监督学习、上下文老虎机、规划与序贯 RL 之间作起步选择?“有正确答案”是分界线吗?
👀 答案
  1. 需要主动展示才能补足实际用户反馈时,会出现探索—利用权衡。内容特征、用户信息和迁移也能缓解冷启动;不展示不等于完全不知道物品内容。

  2. 多了当前用户、物品、场景等上下文特征,可以用 LinUCB 或带特征的 Thompson Sampling。标准上下文老虎机不建模当前动作改变未来环境状态;也不保证线上风险可控。

  3. 可能漏掉满意度、留存、多样性等,但并非必然造成某一种坏结果。例子中 A 合计 0.89,B 为 1.13;这些是假设的两次访问回报,不是实际平台结论。

  4. 探索成本、奖励定义、反事实与选择偏差、非平稳。用户构成不同会扭曲总点击率;离线评估要核对覆盖和选择概率等条件。受控线上实验有实际研究案例,但需要风险控制,不能把任何一种方法当作通用安全保证。

  5. 状态是环境的相关真实信息;观察是实际能取得的部分信息;动作包括工具、参数、询问和结束;转移来自动作及外部事件;奖励是另行定义的反馈。参数固定的模型也能运行工具循环,不等于正在 RL 训练。

  6. 稀疏奖励、大动作空间、部分可观测、错误传播、难以完整重置环境。全部对话也不包含全部外部状态;恢复本地文件不能撤销所有外部副作用。这些难点也会出现在游戏中。

  7. RLVR 提供可验证奖励;PRM 学习步骤评价;筛选后 SFT 学习合格示例,原始专家迭代结合搜索与学习;搜索负责规划,是否更新参数要另看。规则验证、过程评分与模拟器都可能有漏洞,四条路线并非都免 RL,也不是必做的四个阶段。

  8. 先做可验证的监督或工作流基线,再看是否缺所选动作的反馈、是否需要探索、动作是否影响以后;有可靠模型时也可考虑规划。奖励、数据、风险和独立评估共同约束选择。有正确答案也能用 RL,能评分也不必用 RL。

本节回顾

⚡ 走神救援

先记住这几件事

  • 推荐先区分预测、探索与长期状态影响;冷启动不等于必须做 RL。
  • 工具循环是运行方式,RL 是训练方式;上下文也不自动等于完整环境状态。
  • 规则奖励、离线评估与模拟器都有适用条件,不能代替真实目标和独立验收。

下一节 👉 15 · 实战与挑战项目

打卡记录保存在你的浏览器里,首页能看到总进度