附录 A · 速查
📌 这是查阅页,不用读完。 按下面的问题跳转,或用
Ctrl+F搜关键词。
先找你现在卡在哪里:
- 不知道算法负责什么 → 算法对照
- 看不懂一个符号或目标 → 核心公式
- 想改训练配置 → 超参的适用边界
- 两个概念分不清 → 十个易混点
- 训练结果不对劲 → 诊断入口
- 忘了术语或关联章节 → 术语 / 跨教程链接
这里保留定义和必要条件;完整推导、代码与实验在对应章节。
🔑 一张表:每个算法在解什么
这张表帮你定位章节,不是算法性能排行榜。能否使用,还取决于动作空间、数据来源和环境接口。
| 算法 | 解决什么 | 章节 |
|---|---|---|
| 价值迭代 / 策略迭代 | 已知转移与奖励模型时,计算价值并改进策略;最优收敛需要相应条件 | 04 |
| 蒙特卡洛 | 用完整回合的回报估计价值;不需要环境模型 | 05 |
| TD(0) | 用一步奖励和下一状态的估值更新当前估值,不必等回合结束 | 05 |
| SARSA | 同策略控制:目标中的下一动作也来自当前行为策略 | 06 |
| Q-learning | 离策略控制:目标用当前 Q 的贪心动作;最优收敛另需条件 | 06 |
| DQN | 用神经网络近似 Q,配合回放和目标网络;标准形式面向离散动作 | 08 |
| REINFORCE | 用采样回报直接更新可微随机策略;选对动作分布后可处理离散或连续动作 | 09 |
| Actor-Critic | Actor 改策略,Critic 提供价值或优势估计;合适的估计可降低梯度方差 | 10 |
| PPO | 用代理目标限制部分更新激励,缓解不稳定;clip 不保证硬 KL 上限 | 11 |
| DPO | 用偏好对直接训练策略,不单独训练奖励模型,也不运行 PPO;原始形式仍使用参考模型 | 13 |
📐 核心公式
先统一下标: 在状态 sₜ 选择 aₜ,随后收到奖励 rₜ₊₁,并到达 sₜ₊₁。下面的 r、s′ 是这次转移的简写。
第 9、10 章把同一次动作之后的奖励记作 rₜ;本附录沿用 rₜ₊₁ 的记号,只是编号约定不同,没有多等一步才拿奖励。
回报与价值
回报是一次经历的累计结果;价值是同样条件下反复经历的平均结果。
$$G_t=\sum_{k=0}^{T-t-1}\gamma^k r_{t+k+1}$$
T 是真正结束的时刻。持续任务可把上限改成无穷;例如奖励有界且 0≤γ<1 时,折扣和有有限界。
$$V^\pi(s)=\mathbb{E}_\pi[G_t\mid s_t=s]$$
$$Q^\pi(s,a)=\mathbb{E}_\pi[G_t\mid s_t=s,a_t=a]$$
V 问“来到这里,接下来按 π 行动能拿多少回报”;Q 问“先做指定动作 a,再按 π 行动能拿多少”。平均包含策略抽样、环境转移和奖励中的随机性。
小例子: 接下来两次奖励是 1、2,γ=0.5,则本次 G=1+0.5×2=2。只有这一次经历,不能据此认定 V 就是 2。
固定期限任务中,同一位置在“还剩 10 步”和“只剩 1 步”时价值可能不同:应写成 Vₜ、Qₜ,或把剩余时间放进状态。参见 Spinning Up 的回报与价值定义。
⭐ 贝尔曼方程:前后估值要一致
当前价值 = 一步奖励与后续价值的平均。 这是价值之间的关系,不是“一次样本奖励恰好等于平均奖励”。
$$V^\pi(s)=\mathbb{E}[r+\gamma V^\pi(s')]$$
这里固定当前状态 s;动作按 π(a|s) 抽样,下一状态与奖励按环境给定的分布抽样。在离散情形,期望就是把各个结果按概率加权求和。
贝尔曼最优方程把“按 π 选动作”换成“在动作间取最好”:
$$V^*(s)=\max_a\mathbb{E}[r+\gamma V^*(s')]$$
第二式中,每个 a 的期望都在固定 s、a 后对环境结果计算。P(s′|s,a) 是下一状态的转移概率;若奖励也随机,还必须平均奖励,不能把未定义的常数 r 塞进求和。
边界: 真正终止状态的后续价值为 0。固定期限要保留时间信息;模型已知与否、是否用函数逼近,会改变求解办法及保证。
价值迭代、TD 等直接使用这类关系。策略梯度和 DPO 不能简单概括成“都在数值求解同一个贝尔曼方程”。
TD 更新
先判断这次是否真正结束,再算目标。 下式先写非终止转移:
$$y_V=r+\gamma V(s')$$
$$V(s)\leftarrow V(s)+\alpha[y_V-V(s)]$$
yᵥ−V(s) 是 TD 误差,α 是学习率。真正终止时 yᵥ=r。
外部截断不等于真正终止。 持续任务只是被采样时限截断时,仍可用最后那个真实状态自举;不要拿 reset 后的新初始状态接上去。重置条件和停止自举的条件不能共用一个 done。
小例子: r=1、γ=0.9、V(s′)=4。普通转移或持续任务的外部截断,目标是 4.6;真正终止,目标是 1。详见第 6 章、DQN 的一次更新及 Gymnasium 的时间边界说明。
Q-learning vs SARSA(一个 max 的区别)
先选目标。 Q-learning 用下一状态的当前最大估值,不等于已知真正最优动作:
$$y_Q=r+\gamma\max_b Q(s',b)$$
SARSA 用策略实际选出、接着要执行的下一动作 a′:
$$y_S=r+\gamma Q(s',a')$$
再共用一次更新。 把 y 换成相应目标;真正终止时,两种目标都取 r:
$$\delta=y-Q(s,a)$$
$$Q(s,a)\leftarrow Q(s,a)+\alpha\delta$$
差别在目标如何选下一动作;它对应本例中 off-policy 和 on-policy 的区别。外部截断仍按上节的自举边界处理。
策略梯度
先说明优化什么,再谈“提高好动作的概率”。 这里用从初始分布出发、到真正终止为止的期望折扣回报:
$$J_\gamma(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}[G_0]$$
τ 是完整轨迹;初始分布和环境规则固定,只有策略参数 θ 改变。设 Aₜ 是该策略在 sₜ、aₜ 上的真实优势,则每一步的梯度贡献为:
$$g_t=\gamma^t\nabla_\theta\log\pi_\theta(a_t\mid s_t)A_t$$
$$\nabla_\theta J_\gamma=\mathbb{E}_{\tau\sim\pi_\theta}\!\left[\sum_{t=0}^{T-1}g_t\right]$$
不要漏掉分布或 γᵗ。 第 9 章主线使用有限回合、γ=1,此时 γᵗ都是 1;若改成从起点计算的折扣目标,就要保留它,或明确等价的折扣状态采样权重。
实现时用估计优势代替真实优势,并在 Actor 更新中把这份权重当常量。估计方法会影响偏差与方差;共享网络、有限步长和多个样本的合力,也使一次更新不保证逐个动作都按直觉单调变化。
参见第 9 章与 Spinning Up 的有限回合策略梯度推导。
GAE
GAE 把同一段轨迹上的 TD 误差加权相加,得到优势估计;它不是直接输出回报。
先用同一轮固定版本的 V 算每步误差。Bₜ 表示允许使用的下一状态估值:普通转移与持续任务的外部截断用 V(sₜ₊₁),真正终止用 0。
$$\delta_t=r_{t+1}+\gamma B_t-V(s_t)$$
在不跨 reset 的 K 步窗口内:
$$\hat A_t^{\mathrm{GAE}(\lambda)}=\sum_{l=0}^{K-1}(\gamma\lambda)^l\delta_{t+l}$$
- λ=0: 只保留当前 δₜ。自举依赖的 V 不准时可能有偏差,不是“必然偏差大”。
- λ=1,且窗口到真正终止: 中间 V 项相消,得到 Gₜ−V(sₜ),不是 Gₜ。
- λ=1,但窗口提前结束: 还保留末尾的自举值;这不是完整的蒙特卡洛回报减基线。
两个结束条件分开: 外部截断可保留最后状态的自举,但优势的递推链必须在 reset 前停下;不能把新回合的误差接到上一回合。
λ=0.95 是一个实验起点,偏差与方差的实际变化还取决于 Critic、窗口长度和任务。见第 10 章、第 11 章与 GAE 原论文。
⭐ PPO 裁剪目标
先定义同一状态动作上的新旧概率比 ρₜ,避免与环境奖励 r 混淆:
$$\rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\rm old}(a_t\mid s_t)}$$
再定义裁剪后的比值 cₜ:
$$c_t=\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)$$
最后最大化下面的代理目标。平均针对本批旧策略采集的样本;Âₜ 是在本批更新中固定的优势估计:
$$L=\widehat{\mathbb{E}}_t[\min(\rho_t\hat A_t,c_t\hat A_t)]$$
裁剪目标移除特定方向上的额外优化激励,不等于把概率比或 KL 硬性锁住。 新策略仍可能偏离较大;KL 监测、学习率和更新轮数要单独检查。
例如 Â=2、ε=0.2 时,ρ 从 1.2 增至 1.5,这个样本的目标仍为 2.4;不代表整个网络梯度都为 0。见第 11 章与项目 A 的 clip 对照。
奖励模型 / DPO
两者都可用成对偏好损失,但被训练的对象不同。 下面先写一对样本的损失;训练时再对数据集中的偏好对取平均。
对于同一提示 x,y_w 是被偏好的回答,y_l 是另一个回答。奖励模型先计算分数差:
$$\Delta r=r_\phi(x,y_w)-r_\phi(x,y_l)$$
$$\ell_{\rm RM}=-\log\sigma(\Delta r)$$
σ 是 sigmoid,把分差映射成模型估计的成对偏好概率;它不自动等于客观正确率。
原始 DPO 不单独训练 rφ,而是比较策略对两个回答的相对偏好:
$$d_\theta=\log\pi_\theta(y_w\mid x)-\log\pi_\theta(y_l\mid x)$$
d_ref 是用固定参考模型做同样计算的结果。把当前与参考的差距乘上 β:
$$m=\beta(d_\theta-d_{\rm ref})$$
$$\ell_{\rm DPO}=-\log\sigma(m)$$
这里的回答概率是给定提示后的完整回答概率:实现时累加回答 token 的 log-probability,不把提示和 padding 算进去,并保持 EOS 与截断规则一致。直接改成 token 平均会改变目标。
这个目标鼓励增加的是相对偏好差距;不保证被偏好回答的绝对概率或独立质量分必然上升。完整例子见第 12 章、第 13 章和 DPO 原论文。
🎛️ 超参速查
下列数值是待验证的配置起点,不是一套能同时照抄的默认参数。 环境、奖励尺度、批量、优化器和模型大小不同,合适数值也会不同。
| 超参 | 示例值 / 候选范围 | 使用前先确认 |
|---|---|---|
| γ(折扣) | 0.99;有限回答任务可取 1.0 | 它定义如何计入未来奖励;RLHF 取 1 不等于奖励短回答 |
| α(学习率) | 小网络可试 3e-4;RLHF 候选如 1e-6~1e-5 | 不是跨模型推荐值;分别检查 Actor、Critic 的优化器、梯度和更新幅度 |
| ε(探索) | DQN 示例:1.0 → 0.05 线性衰减 | 写明按多少环境步衰减;它与 PPO 的 clip ε 不是同一个参数 |
| clip ε | 0.2 | PPO 裁剪窗口;还要观察新旧策略 KL 与更新轮数 |
| GAE λ | 0.95 | 调整跨时间的 TD 误差权重;与 γ、Critic 和采样窗口一起评估 |
| K_EPOCHS | PPO 候选 3~10;RLHF 候选 1~4 | 指同批数据的遍历轮数,不等于总 minibatch 更新次数;不能把次数当安全保证 |
| 熵系数 | 可比较 0 与 0.01 | 部分 RLHF 实现不加显式熵项;熵奖励与 KL 惩罚不能直接互换 |
| 梯度裁剪 | max_norm=0.5 | 一种参考配置;记录裁剪前范数并做对照,不是普遍必需值 |
| 回放缓冲 | DQN 候选 1e5~1e6 条转移 | 检查内存、样本覆盖与旧数据比例;不是 PPO 的历史数据池 |
| 目标网络更新 | DQN 示例:每 1000 个环境步硬同步 | 其他实现可能按梯度更新计数;硬同步间隔不要和软更新系数混用 |
| DPO 的 β | 0.1 | 原论文使用过的值;它缩放偏好间隔,不保证实际 KL 随 β 单调变化 |
关于 β 的一个边界: 若原始 DPO 损失取 β=0,这一偏好项的策略梯度也为 0;不能解释成“完全去掉约束,策略就会猛烈学习”。有限训练中的偏离量需要实际测量。
配置解释见 PPO、RLHF、DPO。记录运行的真实配置,不把本表写成所有库的当前默认值。
⚠️ 十个最容易搞混的地方
| 容易混 | 区别 |
|---|---|
| V 和 Q | V 是状态的期望回报,Q 是先固定状态与动作、再按指定策略继续的期望回报 |
| on-policy vs off-policy | 比较目标策略与采样行为策略;有回放不自动证明校正充分,没有回放也不自动等于同策略 |
| SARSA vs Q-learning | SARSA 用实际下一动作,Q-learning 用当前 Q 的最大值;不是“已知最优动作” |
| 回报 vs 奖励 | 奖励是一次转移的 r;回报 G 累计后续奖励,是否折扣由目标定义 |
| 优势 vs Q | Aπ=Qπ−Vπ;“平均”按同一状态下策略 π 的动作分布计算,不是所有动作等权平均 |
| 蒙特卡洛 vs TD | 完整同策略回报可无偏估计相应价值,但可能方差高;TD 自举会受估值误差影响,不能无条件称其有偏或方差更低 |
| PPO 的 clip vs RLHF 的 KL 惩罚 | clip 比较本批新旧策略的动作概率比;参考 KL 比较当前策略与固定参考模型,二者都不是输出质量保证 |
| 探索 vs 随机 | 随机动作可以是探索方法;探索要获得有用信息,单纯加随机性不保证覆盖关键状态 |
| 奖励攻击 vs 过拟合 | 前者利用评分代理与真实目标的错位;后者通常指对训练数据适应过头、泛化变差,二者可以同时发生 |
| DPO 的 β vs PPO 的 β | β 不是 PPO-clip 固有参数;若指 RLHF 的 KL 惩罚系数,它直接权衡奖励与参考 KL,DPO 的 β 则进入偏好损失的间隔 |
只记一个核对习惯: 看到“平均”“更好”“更稳定”,先问按哪个分布、相对哪个基线、在哪些条件下。
🩺 故障诊断表
症状只是入口,不是病因证明。 先在小环境中检查数据和目标,再逐项改配置;一次改很多参数,会失去判断依据。
| 症状 | 优先检查什么 |
|---|---|
| 完全不学习 | 动作是否影响奖励、奖励是否传到损失、参数是否真的更新;再看学习率与尺度。权重该 detach 而未 detach、log-probability 被错误 detach 都可能出错;未标准化优势不是必然原因 |
| 学一半崩掉 | 数据分布、学习率、同批更新轮数、KL、梯度范数和目标值;没有梯度裁剪不能单独证明原因 |
| Q 值过大或不稳定 | 检查终止目标、奖励尺度、自举反馈与目标网络同步;外部截断不能直接按 done 清零 |
| 策略过早收敛 | 先看动作分布、状态覆盖和奖励稀疏程度,再检查 ε 衰减或熵项;并非所有算法都有这两个参数 |
| 不同种子结果差很多 | 核对环境与算法随机性、评估回合数和异常运行;报告预先选定的多种子结果,不只展示最好种子,也不把明显 bug 当正常波动 |
| 训练分数高但评估低 | 核对探索/采样策略、归一化、环境及奖励口径;DQN 可单列 ε=0 测试,其他算法不能照搬 |
| RLHF 奖励涨但输出变差 | 核对独立质量、输出样本和分布变化;KL 不是质量分,不能单靠它认定奖励攻击或决定早停 |
判断改动有没有用: 固定评估协议,对照改动前后的多次结果及波动。训练 loss 降低、单次奖励升高、梯度有限,都不等于任务已经学会。
📖 术语对照
| 中文 | 英文 | 一句话 |
|---|---|---|
| 马尔可夫决策过程 | MDP | 用状态、动作、转移和奖励描述序贯问题;还需说明初始分布、折扣或期限等目标设定,不同资料的元组记法不同 |
| 策略 | Policy | 从状态或可用观测给出动作,或动作的概率分布 |
| 回报 | Return | 后续奖励的累计值;本页默认按 γ 折扣 |
| 价值函数 | Value Function | 在给定策略、状态(及需要时的动作/时间)下的期望回报 |
| 优势函数 | Advantage | 指定动作比同一策略在该状态的平均表现好多少 |
| 自举 | Bootstrapping | 更新目标中使用另一个当前估值,而非只用实际观测的完整回报 |
| 同策略 / 异策略 | on-policy / off-policy | 目标策略与采样行为策略相同 / 可以不同;也常译为同策略 / 离策略 |
| 经验回放 | Experience Replay | 存储历史转移并再次抽样;打乱抽样可减弱相关性,不保证独立同分布 |
| 目标网络 | Target Network | 提供变化较慢的目标估值;可以定期硬复制,也可以持续软更新,不是永远冻结 |
| 探索利用 | Exploration-Exploitation | 获取新信息与利用现有估计之间的权衡 |
| 奖励攻击 | Reward Hacking | 评分代理变高,却没有实现甚至损害真正目标 |
| 可验证奖励 | RLVR | 用答案校验、单元测试等可执行检查提供奖励的 RL;验证器仍可能不完整或被利用 |
🔗 跨教程速查
| 这里学的 | 在哪里被用到 |
|---|---|
| 探索与利用 / Thompson Sampling | 推荐算法 · 冷启动 |
| PPO + RLHF | 全景导论主线 4 · 它怎样从续写机变助手 |
| DPO / 对齐 | 全景导论 · 对齐与安全 |
| MDP / 序贯决策 | 智能体工程教程 |
| 偏差-方差(TD vs MC) | 数学原理 · 偏差方差分解;用于理解概念,不能把监督学习分解直接当作所有 RL 估计器的结论 |
| 优化器(Adam / 学习率调度) | ML 基础 · 优化器与学习率 |
| 梯度裁剪(本表的 0.5、第 8 章代码的 10) | ML 基础 · RNN与序列建模:理解梯度爆炸与 max_norm;两个参考阈值并不构成矛盾 |
👉 回到首页