🏠 总目录📚 本教程 00 · 怎么用这份教程 →

强化学习基础 · 00 · 原章导读

强化学习的反馈,与监督学习的标签差在哪里?

先用原来的教学小例子看延迟后果,再比较监督学习的即时目标与强化学习的回报;读算法时沿价值和策略两条线。

读后可检查:能先辨认问题类型,再选原有分段路线和补基础入口。

📑 本页目录(点开跳转)

00 · 怎么用这份教程

⏱ 18 分钟 · 不需要先记住所有算法名。先看“当前选择怎样影响后面的结果”。

🎯 一句话

强化学习研究怎样选择行动,让一段时间内的累计奖励更好,而不只是眼前这一步得分高。

🧩 用一个选择看懂这个问题

教学小例子:只看眼前,会选错什么?

假设每局恰好两步,暂不折扣。选 A:第一步得 2 分,第二步得 0 分,合计 2 分。选 B:第一步得 0 分,第二步得 5 分,合计 5 分。

如果只挑当前得分高的动作,会选 A;如果知道两步的结果并比较总回报,会选 B。真实环境通常还不知道这些结果,需要从数据中学习。

你在别处遇到的词 在这里问什么 对应入口
RLHF、PPO 怎样用奖励信号更新策略 09 · 策略梯度、12 · RLHF
奖励模型 预测的偏好分数怎样参与训练,它又遗漏什么 12 · RLHF
Thompson Sampling 怎样在未知收益下探索 07 · 探索与利用
Agent 下一步行动 怎样描述状态、动作与后果 02 · MDP;调用工具本身不等于做了 RL 训练

MDP、价值函数、贝尔曼关系、动态规划、MC/TD、Q-learning、DQN、策略梯度、Actor-Critic、PPO 和 RLHF/DPO 都在后续地图中。现在不需要记全。

🧠 监督学习与强化学习:反馈是什么

比较点 监督学习的常见设置 强化学习的常见设置
给学习算法什么 输入与目标标签,例如图片与类别 状态或观测、动作、奖励、后续状态
学什么 让预测接近目标 让策略取得更好的期望累计回报
哪一步“对” 标签给出当前样本的目标,不代表数据永远可靠 奖励不一定直接告诉你最好的动作
奖励什么时候到 不用这个框架描述标签 可以每步给,也可以很稀疏,不是只能最后给分

常见的三个困难,不是所有任务都同样严重,也不是其他学习方式绝不会遇到:

  • 延迟影响:下棋最后才知道输赢时,怎样判断较早的一步是否有帮助?看 03 · 价值函数。
  • 探索与利用:试没去过的餐厅,还是选熟悉的?看 07。
  • 数据随策略变化:在线交互时,策略决定会访问哪些状态。离线 RL 则可以使用已经收集好的固定数据,不能说所有 RL 都要边训练边制造新数据。

概念与边界可对照 Spinning Up 的状态、动作与回报说明和算法分类。

⚠️ 怎样读算法,不被名字淹没

① 先看例子,再读公式

先用数值例子理解“这一项在估计什么”。推导可以按需读;真正实现算法时,仍要核对目标、更新式和适用条件,不能承诺跳过所有公式也完全不影响后续。

② 价值这条线:先估“选它之后会怎样”

章节 新增能力 与前一组的关系
02–03:MDP、价值与贝尔曼关系 描述决策问题与未来回报 建立共同语言,不是两种训练算法
04:动态规划 已知环境模型时计算价值与策略 利用已知转移和奖励
05:MC / TD 从经历估计价值 对完整回报或短期目标做估计
06:Q-learning / SARSA 根据动作价值改进选择 区分更新目标与行为策略
07:探索利用 决定还要试哪些动作 是采集信息的问题,不只是又一种求价值方法
08:DQN 用神经网络近似动作价值 不再为每个状态单独存一格

③ 策略这条线:直接调整“怎么选”

09 学策略梯度,10 学 Actor-Critic,11 学 PPO。直接优化策略不等于不使用价值函数:Actor-Critic 用价值估计帮助评价动作,PPO 也常配价值网络。

连续动作不能像一小组离散动作那样逐个枚举,但不是“根本不能用价值”。例如 DDPG、SAC 结合策略与动作价值来处理连续控制。这里先把两条思路分清,不把它们写成互相排斥的选择。见 SAC 的算法说明。

🗺️ 完整主题地图

主题 章节 你要获得什么
起步 00、01 区分预测与行动决策
共同语言 02 MDP、03 价值与贝尔曼关系 描述状态、动作、未来回报
表格方法 04 动态规划、05 MC/TD、06 Q-learning/SARSA、07 探索利用 在小环境里算与试
神经网络与策略 08 DQN、09 策略梯度、10 Actor-Critic、11 PPO 处理更大状态空间与策略更新
对齐与应用 12 RLHF、13 DPO、14 推荐与智能体 区分训练方法、反馈来源与工程应用
动手与查阅 15 项目、附录 A 验证算法,按需查术语

全部章节入口在模块目录。贝尔曼关系是理解价值的核心工具,但并非所有 RL 算法都直接求解它。PPO 是重要的一种方法,不能推断所有当前产品都使用它。

🧭 四种可分次完成的读法

目标 从哪里开始 之后的路线
看懂 RLHF 12 · 全流程 卡在符号时回 01、02、03、09、11;13 对照 DPO
推荐里的探索利用 01 · 问题 07 · 探索与利用 → 14
自己实现 RL 01 · 问题 02–11 → 15 · 实战与挑战项目,按项目要求补前置
系统理解 01 · 问题 按目录推进

两步奖励例子展示了行动如何影响之后的结果。02 · MDP介绍怎样描述这样的环境。

🧮 按将要做的事补基础

  • 先读起步例子:会加减和比较即可,不必先学 PyTorch。
  • 读价值与采样估计:需要概率与期望;可回数学原理入口找对应基础。
  • 读策略梯度与神经网络实现:需要梯度下降和基础 PyTorch,可回 ML 优化器、PyTorch 实战。
  • 起步不要求随机过程、测度论、最优控制或收敛证明;深入理论时再补,不把“不要求先修”写成“永远不需要”。

🔗 从模型训练到行动决策

机器学习基础帮助理解参数怎样更新;本模块再加上行动、环境与长期回报。学完后,可以回到大模型对齐、推荐探索或智能体应用,辨认哪些部分真的在训练策略。

🔗 这一章连到哪里

去哪 为什么
ML 基础 实现神经网络算法之前补模型与训练,不是阅读所有起步例子的硬门槛
导论 · 训练三阶段 区分预训练、指令学习与偏好对齐;对齐不只有在线 RL
推荐 · 冷启动与探索 试新物品与收集反馈的具体场景
智能体 · 工作流还是 Agent 观察序贯决策的工程形式;推理时调用工具不等于已做强化学习

✅ 检查点

  1. 上面的 A/B 例子中,不折扣的两步回报各是多少?
  2. 每走一步都给奖励,还算强化学习吗?
  3. Actor-Critic 直接优化策略,为什么仍有价值估计?
  4. 使用固定历史数据训练,就一定不是 RL 吗?
查看参考答案
  1. A 为 2,B 为 5。只比较第一步会遗漏后续后果。
  2. 算,奖励可以每步给;关键在怎样用它评价行动与累计回报。
  3. Critic 的价值估计帮助评价动作或构造更新信号,Actor 调整策略。
  4. 不是。离线 RL 可以用固定数据;它有覆盖不足和分布外动作等额外问题。

基础概念回顾

⚡ 走神救援

回到这三个区别

  • 奖励是当前信号,回报汇总一段经历;眼前得分高不一定长期更好。
  • 奖励可以每步给;在线交互与离线数据是不同设置。
  • 价值估计与策略优化可以配合,不是只能选一条。

👉 01 · 强化学习在解什么问题

打卡记录保存在你的浏览器里,首页能看到总进度