00 · 怎么用这份教程
⏱ 18 分钟 · 不需要先记住所有算法名。先看“当前选择怎样影响后面的结果”。
🎯 一句话
强化学习研究怎样选择行动,让一段时间内的累计奖励更好,而不只是眼前这一步得分高。
🧩 用一个选择看懂这个问题
教学小例子:只看眼前,会选错什么?
假设每局恰好两步,暂不折扣。选 A:第一步得 2 分,第二步得 0 分,合计 2 分。选 B:第一步得 0 分,第二步得 5 分,合计 5 分。
如果只挑当前得分高的动作,会选 A;如果知道两步的结果并比较总回报,会选 B。真实环境通常还不知道这些结果,需要从数据中学习。
| 你在别处遇到的词 | 在这里问什么 | 对应入口 |
|---|---|---|
| RLHF、PPO | 怎样用奖励信号更新策略 | 09 · 策略梯度、12 · RLHF |
| 奖励模型 | 预测的偏好分数怎样参与训练,它又遗漏什么 | 12 · RLHF |
| Thompson Sampling | 怎样在未知收益下探索 | 07 · 探索与利用 |
| Agent 下一步行动 | 怎样描述状态、动作与后果 | 02 · MDP;调用工具本身不等于做了 RL 训练 |
MDP、价值函数、贝尔曼关系、动态规划、MC/TD、Q-learning、DQN、策略梯度、Actor-Critic、PPO 和 RLHF/DPO 都在后续地图中。现在不需要记全。
🧠 监督学习与强化学习:反馈是什么
| 比较点 | 监督学习的常见设置 | 强化学习的常见设置 |
|---|---|---|
| 给学习算法什么 | 输入与目标标签,例如图片与类别 | 状态或观测、动作、奖励、后续状态 |
| 学什么 | 让预测接近目标 | 让策略取得更好的期望累计回报 |
| 哪一步“对” | 标签给出当前样本的目标,不代表数据永远可靠 | 奖励不一定直接告诉你最好的动作 |
| 奖励什么时候到 | 不用这个框架描述标签 | 可以每步给,也可以很稀疏,不是只能最后给分 |
常见的三个困难,不是所有任务都同样严重,也不是其他学习方式绝不会遇到:
- 延迟影响:下棋最后才知道输赢时,怎样判断较早的一步是否有帮助?看 03 · 价值函数。
- 探索与利用:试没去过的餐厅,还是选熟悉的?看 07。
- 数据随策略变化:在线交互时,策略决定会访问哪些状态。离线 RL 则可以使用已经收集好的固定数据,不能说所有 RL 都要边训练边制造新数据。
概念与边界可对照 Spinning Up 的状态、动作与回报说明和算法分类。
⚠️ 怎样读算法,不被名字淹没
① 先看例子,再读公式
先用数值例子理解“这一项在估计什么”。推导可以按需读;真正实现算法时,仍要核对目标、更新式和适用条件,不能承诺跳过所有公式也完全不影响后续。
② 价值这条线:先估“选它之后会怎样”
| 章节 | 新增能力 | 与前一组的关系 |
|---|---|---|
| 02–03:MDP、价值与贝尔曼关系 | 描述决策问题与未来回报 | 建立共同语言,不是两种训练算法 |
| 04:动态规划 | 已知环境模型时计算价值与策略 | 利用已知转移和奖励 |
| 05:MC / TD | 从经历估计价值 | 对完整回报或短期目标做估计 |
| 06:Q-learning / SARSA | 根据动作价值改进选择 | 区分更新目标与行为策略 |
| 07:探索利用 | 决定还要试哪些动作 | 是采集信息的问题,不只是又一种求价值方法 |
| 08:DQN | 用神经网络近似动作价值 | 不再为每个状态单独存一格 |
③ 策略这条线:直接调整“怎么选”
09 学策略梯度,10 学 Actor-Critic,11 学 PPO。直接优化策略不等于不使用价值函数:Actor-Critic 用价值估计帮助评价动作,PPO 也常配价值网络。
连续动作不能像一小组离散动作那样逐个枚举,但不是“根本不能用价值”。例如 DDPG、SAC 结合策略与动作价值来处理连续控制。这里先把两条思路分清,不把它们写成互相排斥的选择。见 SAC 的算法说明。
🗺️ 完整主题地图
| 主题 | 章节 | 你要获得什么 |
|---|---|---|
| 起步 | 00、01 | 区分预测与行动决策 |
| 共同语言 | 02 MDP、03 价值与贝尔曼关系 | 描述状态、动作、未来回报 |
| 表格方法 | 04 动态规划、05 MC/TD、06 Q-learning/SARSA、07 探索利用 | 在小环境里算与试 |
| 神经网络与策略 | 08 DQN、09 策略梯度、10 Actor-Critic、11 PPO | 处理更大状态空间与策略更新 |
| 对齐与应用 | 12 RLHF、13 DPO、14 推荐与智能体 | 区分训练方法、反馈来源与工程应用 |
| 动手与查阅 | 15 项目、附录 A | 验证算法,按需查术语 |
全部章节入口在模块目录。贝尔曼关系是理解价值的核心工具,但并非所有 RL 算法都直接求解它。PPO 是重要的一种方法,不能推断所有当前产品都使用它。
🧭 四种可分次完成的读法
| 目标 | 从哪里开始 | 之后的路线 |
|---|---|---|
| 看懂 RLHF | 12 · 全流程 | 卡在符号时回 01、02、03、09、11;13 对照 DPO |
| 推荐里的探索利用 | 01 · 问题 | 07 · 探索与利用 → 14 |
| 自己实现 RL | 01 · 问题 | 02–11 → 15 · 实战与挑战项目,按项目要求补前置 |
| 系统理解 | 01 · 问题 | 按目录推进 |
两步奖励例子展示了行动如何影响之后的结果。02 · MDP介绍怎样描述这样的环境。
🧮 按将要做的事补基础
- 先读起步例子:会加减和比较即可,不必先学 PyTorch。
- 读价值与采样估计:需要概率与期望;可回数学原理入口找对应基础。
- 读策略梯度与神经网络实现:需要梯度下降和基础 PyTorch,可回 ML 优化器、PyTorch 实战。
- 起步不要求随机过程、测度论、最优控制或收敛证明;深入理论时再补,不把“不要求先修”写成“永远不需要”。
🔗 从模型训练到行动决策
机器学习基础帮助理解参数怎样更新;本模块再加上行动、环境与长期回报。学完后,可以回到大模型对齐、推荐探索或智能体应用,辨认哪些部分真的在训练策略。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| ML 基础 | 实现神经网络算法之前补模型与训练,不是阅读所有起步例子的硬门槛 |
| 导论 · 训练三阶段 | 区分预训练、指令学习与偏好对齐;对齐不只有在线 RL |
| 推荐 · 冷启动与探索 | 试新物品与收集反馈的具体场景 |
| 智能体 · 工作流还是 Agent | 观察序贯决策的工程形式;推理时调用工具不等于已做强化学习 |
✅ 检查点
- 上面的 A/B 例子中,不折扣的两步回报各是多少?
- 每走一步都给奖励,还算强化学习吗?
- Actor-Critic 直接优化策略,为什么仍有价值估计?
- 使用固定历史数据训练,就一定不是 RL 吗?
查看参考答案
- A 为 2,B 为 5。只比较第一步会遗漏后续后果。
- 算,奖励可以每步给;关键在怎样用它评价行动与累计回报。
- Critic 的价值估计帮助评价动作或构造更新信号,Actor 调整策略。
- 不是。离线 RL 可以用固定数据;它有覆盖不足和分布外动作等额外问题。
基础概念回顾
⚡ 走神救援
回到这三个区别
- 奖励是当前信号,回报汇总一段经历;眼前得分高不一定长期更好。
- 奖励可以每步给;在线交互与离线数据是不同设置。
- 价值估计与策略优化可以配合,不是只能选一条。