🏠 总目录📚 本教程 附录A · 速查 ←

公式、超参与训练故障,应该从哪个入口查?

读后可检查:先明确算法在估计或优化什么,再用公式表与故障诊断回到原章检查条件。

📑 本页目录(点开跳转)

附录 A · 速查

📌 这是查阅页,不用读完。 按下面的问题跳转,或用 Ctrl+F 搜关键词。

先找你现在卡在哪里:

这里保留定义和必要条件;完整推导、代码与实验在对应章节。


🔑 一张表:每个算法在解什么

这张表帮你定位章节,不是算法性能排行榜。能否使用,还取决于动作空间、数据来源和环境接口。

算法 解决什么 章节
价值迭代 / 策略迭代 已知转移与奖励模型时,计算价值并改进策略;最优收敛需要相应条件 04
蒙特卡洛 用完整回合的回报估计价值;不需要环境模型 05
TD(0) 用一步奖励和下一状态的估值更新当前估值,不必等回合结束 05
SARSA 同策略控制:目标中的下一动作也来自当前行为策略 06
Q-learning 离策略控制:目标用当前 Q 的贪心动作;最优收敛另需条件 06
DQN 用神经网络近似 Q,配合回放和目标网络;标准形式面向离散动作 08
REINFORCE 用采样回报直接更新可微随机策略;选对动作分布后可处理离散或连续动作 09
Actor-Critic Actor 改策略,Critic 提供价值或优势估计;合适的估计可降低梯度方差 10
PPO 用代理目标限制部分更新激励,缓解不稳定;clip 不保证硬 KL 上限 11
DPO 用偏好对直接训练策略,不单独训练奖励模型,也不运行 PPO;原始形式仍使用参考模型 13

📐 核心公式

先统一下标: 在状态 sₜ 选择 aₜ,随后收到奖励 rₜ₊₁,并到达 sₜ₊₁。下面的 r、s′ 是这次转移的简写。

第 9、10 章把同一次动作之后的奖励记作 rₜ;本附录沿用 rₜ₊₁ 的记号,只是编号约定不同,没有多等一步才拿奖励。

回报与价值

回报是一次经历的累计结果;价值是同样条件下反复经历的平均结果。

$$G_t=\sum_{k=0}^{T-t-1}\gamma^k r_{t+k+1}$$

T 是真正结束的时刻。持续任务可把上限改成无穷;例如奖励有界且 0≤γ<1 时,折扣和有有限界。

$$V^\pi(s)=\mathbb{E}_\pi[G_t\mid s_t=s]$$

$$Q^\pi(s,a)=\mathbb{E}_\pi[G_t\mid s_t=s,a_t=a]$$

V 问“来到这里,接下来按 π 行动能拿多少回报”;Q 问“先做指定动作 a,再按 π 行动能拿多少”。平均包含策略抽样、环境转移和奖励中的随机性。

小例子: 接下来两次奖励是 1、2,γ=0.5,则本次 G=1+0.5×2=2。只有这一次经历,不能据此认定 V 就是 2。

固定期限任务中,同一位置在“还剩 10 步”和“只剩 1 步”时价值可能不同:应写成 Vₜ、Qₜ,或把剩余时间放进状态。参见 Spinning Up 的回报与价值定义。

⭐ 贝尔曼方程:前后估值要一致

当前价值 = 一步奖励与后续价值的平均。 这是价值之间的关系,不是“一次样本奖励恰好等于平均奖励”。

$$V^\pi(s)=\mathbb{E}[r+\gamma V^\pi(s')]$$

这里固定当前状态 s;动作按 π(a|s) 抽样,下一状态与奖励按环境给定的分布抽样。在离散情形,期望就是把各个结果按概率加权求和。

贝尔曼最优方程把“按 π 选动作”换成“在动作间取最好”:

$$V^*(s)=\max_a\mathbb{E}[r+\gamma V^*(s')]$$

第二式中,每个 a 的期望都在固定 s、a 后对环境结果计算。P(s′|s,a) 是下一状态的转移概率;若奖励也随机,还必须平均奖励,不能把未定义的常数 r 塞进求和。

边界: 真正终止状态的后续价值为 0。固定期限要保留时间信息;模型已知与否、是否用函数逼近,会改变求解办法及保证。

价值迭代、TD 等直接使用这类关系。策略梯度和 DPO 不能简单概括成“都在数值求解同一个贝尔曼方程”。

TD 更新

先判断这次是否真正结束,再算目标。 下式先写非终止转移:

$$y_V=r+\gamma V(s')$$

$$V(s)\leftarrow V(s)+\alpha[y_V-V(s)]$$

yᵥ−V(s) 是 TD 误差,α 是学习率。真正终止时 yᵥ=r。

外部截断不等于真正终止。 持续任务只是被采样时限截断时,仍可用最后那个真实状态自举;不要拿 reset 后的新初始状态接上去。重置条件和停止自举的条件不能共用一个 done。

小例子: r=1、γ=0.9、V(s′)=4。普通转移或持续任务的外部截断,目标是 4.6;真正终止,目标是 1。详见第 6 章、DQN 的一次更新及 Gymnasium 的时间边界说明。

Q-learning vs SARSA(一个 max 的区别)

先选目标。 Q-learning 用下一状态的当前最大估值,不等于已知真正最优动作:

$$y_Q=r+\gamma\max_b Q(s',b)$$

SARSA 用策略实际选出、接着要执行的下一动作 a′:

$$y_S=r+\gamma Q(s',a')$$

再共用一次更新。 把 y 换成相应目标;真正终止时,两种目标都取 r:

$$\delta=y-Q(s,a)$$

$$Q(s,a)\leftarrow Q(s,a)+\alpha\delta$$

差别在目标如何选下一动作;它对应本例中 off-policy 和 on-policy 的区别。外部截断仍按上节的自举边界处理。

策略梯度

先说明优化什么,再谈“提高好动作的概率”。 这里用从初始分布出发、到真正终止为止的期望折扣回报:

$$J_\gamma(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}[G_0]$$

τ 是完整轨迹;初始分布和环境规则固定,只有策略参数 θ 改变。设 Aₜ 是该策略在 sₜ、aₜ 上的真实优势,则每一步的梯度贡献为:

$$g_t=\gamma^t\nabla_\theta\log\pi_\theta(a_t\mid s_t)A_t$$

$$\nabla_\theta J_\gamma=\mathbb{E}_{\tau\sim\pi_\theta}\!\left[\sum_{t=0}^{T-1}g_t\right]$$

不要漏掉分布或 γᵗ。 第 9 章主线使用有限回合、γ=1,此时 γᵗ都是 1;若改成从起点计算的折扣目标,就要保留它,或明确等价的折扣状态采样权重。

实现时用估计优势代替真实优势,并在 Actor 更新中把这份权重当常量。估计方法会影响偏差与方差;共享网络、有限步长和多个样本的合力,也使一次更新不保证逐个动作都按直觉单调变化。

参见第 9 章与 Spinning Up 的有限回合策略梯度推导。

GAE

GAE 把同一段轨迹上的 TD 误差加权相加,得到优势估计;它不是直接输出回报。

先用同一轮固定版本的 V 算每步误差。Bₜ 表示允许使用的下一状态估值:普通转移与持续任务的外部截断用 V(sₜ₊₁),真正终止用 0。

$$\delta_t=r_{t+1}+\gamma B_t-V(s_t)$$

在不跨 reset 的 K 步窗口内:

$$\hat A_t^{\mathrm{GAE}(\lambda)}=\sum_{l=0}^{K-1}(\gamma\lambda)^l\delta_{t+l}$$

  • λ=0: 只保留当前 δₜ。自举依赖的 V 不准时可能有偏差,不是“必然偏差大”。
  • λ=1,且窗口到真正终止: 中间 V 项相消,得到 Gₜ−V(sₜ),不是 Gₜ。
  • λ=1,但窗口提前结束: 还保留末尾的自举值;这不是完整的蒙特卡洛回报减基线。

两个结束条件分开: 外部截断可保留最后状态的自举,但优势的递推链必须在 reset 前停下;不能把新回合的误差接到上一回合。

λ=0.95 是一个实验起点,偏差与方差的实际变化还取决于 Critic、窗口长度和任务。见第 10 章、第 11 章与 GAE 原论文。

⭐ PPO 裁剪目标

先定义同一状态动作上的新旧概率比 ρₜ,避免与环境奖励 r 混淆:

$$\rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\rm old}(a_t\mid s_t)}$$

再定义裁剪后的比值 cₜ:

$$c_t=\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)$$

最后最大化下面的代理目标。平均针对本批旧策略采集的样本;Âₜ 是在本批更新中固定的优势估计:

$$L=\widehat{\mathbb{E}}_t[\min(\rho_t\hat A_t,c_t\hat A_t)]$$

裁剪目标移除特定方向上的额外优化激励,不等于把概率比或 KL 硬性锁住。 新策略仍可能偏离较大;KL 监测、学习率和更新轮数要单独检查。

例如 Â=2、ε=0.2 时,ρ 从 1.2 增至 1.5,这个样本的目标仍为 2.4;不代表整个网络梯度都为 0。见第 11 章与项目 A 的 clip 对照。

奖励模型 / DPO

两者都可用成对偏好损失,但被训练的对象不同。 下面先写一对样本的损失;训练时再对数据集中的偏好对取平均。

对于同一提示 x,y_w 是被偏好的回答,y_l 是另一个回答。奖励模型先计算分数差:

$$\Delta r=r_\phi(x,y_w)-r_\phi(x,y_l)$$

$$\ell_{\rm RM}=-\log\sigma(\Delta r)$$

σ 是 sigmoid,把分差映射成模型估计的成对偏好概率;它不自动等于客观正确率。

原始 DPO 不单独训练 rφ,而是比较策略对两个回答的相对偏好:

$$d_\theta=\log\pi_\theta(y_w\mid x)-\log\pi_\theta(y_l\mid x)$$

d_ref 是用固定参考模型做同样计算的结果。把当前与参考的差距乘上 β:

$$m=\beta(d_\theta-d_{\rm ref})$$

$$\ell_{\rm DPO}=-\log\sigma(m)$$

这里的回答概率是给定提示后的完整回答概率:实现时累加回答 token 的 log-probability,不把提示和 padding 算进去,并保持 EOS 与截断规则一致。直接改成 token 平均会改变目标。

这个目标鼓励增加的是相对偏好差距;不保证被偏好回答的绝对概率或独立质量分必然上升。完整例子见第 12 章、第 13 章和 DPO 原论文。


🎛️ 超参速查

下列数值是待验证的配置起点,不是一套能同时照抄的默认参数。 环境、奖励尺度、批量、优化器和模型大小不同,合适数值也会不同。

超参 示例值 / 候选范围 使用前先确认
γ(折扣) 0.99;有限回答任务可取 1.0 它定义如何计入未来奖励;RLHF 取 1 不等于奖励短回答
α(学习率) 小网络可试 3e-4;RLHF 候选如 1e-6~1e-5 不是跨模型推荐值;分别检查 Actor、Critic 的优化器、梯度和更新幅度
ε(探索) DQN 示例:1.0 → 0.05 线性衰减 写明按多少环境步衰减;它与 PPO 的 clip ε 不是同一个参数
clip ε 0.2 PPO 裁剪窗口;还要观察新旧策略 KL 与更新轮数
GAE λ 0.95 调整跨时间的 TD 误差权重;与 γ、Critic 和采样窗口一起评估
K_EPOCHS PPO 候选 3~10;RLHF 候选 1~4 指同批数据的遍历轮数,不等于总 minibatch 更新次数;不能把次数当安全保证
熵系数 可比较 0 与 0.01 部分 RLHF 实现不加显式熵项;熵奖励与 KL 惩罚不能直接互换
梯度裁剪 max_norm=0.5 一种参考配置;记录裁剪前范数并做对照,不是普遍必需值
回放缓冲 DQN 候选 1e5~1e6 条转移 检查内存、样本覆盖与旧数据比例;不是 PPO 的历史数据池
目标网络更新 DQN 示例:每 1000 个环境步硬同步 其他实现可能按梯度更新计数;硬同步间隔不要和软更新系数混用
DPO 的 β 0.1 原论文使用过的值;它缩放偏好间隔,不保证实际 KL 随 β 单调变化

关于 β 的一个边界: 若原始 DPO 损失取 β=0,这一偏好项的策略梯度也为 0;不能解释成“完全去掉约束,策略就会猛烈学习”。有限训练中的偏离量需要实际测量。

配置解释见 PPO、RLHF、DPO。记录运行的真实配置,不把本表写成所有库的当前默认值。


⚠️ 十个最容易搞混的地方

容易混 区别
V 和 Q V 是状态的期望回报,Q 是先固定状态与动作、再按指定策略继续的期望回报
on-policy vs off-policy 比较目标策略与采样行为策略;有回放不自动证明校正充分,没有回放也不自动等于同策略
SARSA vs Q-learning SARSA 用实际下一动作,Q-learning 用当前 Q 的最大值;不是“已知最优动作”
回报 vs 奖励 奖励是一次转移的 r;回报 G 累计后续奖励,是否折扣由目标定义
优势 vs Q Aπ=Qπ−Vπ;“平均”按同一状态下策略 π 的动作分布计算,不是所有动作等权平均
蒙特卡洛 vs TD 完整同策略回报可无偏估计相应价值,但可能方差高;TD 自举会受估值误差影响,不能无条件称其有偏或方差更低
PPO 的 clip vs RLHF 的 KL 惩罚 clip 比较本批新旧策略的动作概率比;参考 KL 比较当前策略与固定参考模型,二者都不是输出质量保证
探索 vs 随机 随机动作可以是探索方法;探索要获得有用信息,单纯加随机性不保证覆盖关键状态
奖励攻击 vs 过拟合 前者利用评分代理与真实目标的错位;后者通常指对训练数据适应过头、泛化变差,二者可以同时发生
DPO 的 β vs PPO 的 β β 不是 PPO-clip 固有参数;若指 RLHF 的 KL 惩罚系数,它直接权衡奖励与参考 KL,DPO 的 β 则进入偏好损失的间隔

只记一个核对习惯: 看到“平均”“更好”“更稳定”,先问按哪个分布、相对哪个基线、在哪些条件下。


🩺 故障诊断表

症状只是入口,不是病因证明。 先在小环境中检查数据和目标,再逐项改配置;一次改很多参数,会失去判断依据。

症状 优先检查什么
完全不学习 动作是否影响奖励、奖励是否传到损失、参数是否真的更新;再看学习率与尺度。权重该 detach 而未 detach、log-probability 被错误 detach 都可能出错;未标准化优势不是必然原因
学一半崩掉 数据分布、学习率、同批更新轮数、KL、梯度范数和目标值;没有梯度裁剪不能单独证明原因
Q 值过大或不稳定 检查终止目标、奖励尺度、自举反馈与目标网络同步;外部截断不能直接按 done 清零
策略过早收敛 先看动作分布、状态覆盖和奖励稀疏程度,再检查 ε 衰减或熵项;并非所有算法都有这两个参数
不同种子结果差很多 核对环境与算法随机性、评估回合数和异常运行;报告预先选定的多种子结果,不只展示最好种子,也不把明显 bug 当正常波动
训练分数高但评估低 核对探索/采样策略、归一化、环境及奖励口径;DQN 可单列 ε=0 测试,其他算法不能照搬
RLHF 奖励涨但输出变差 核对独立质量、输出样本和分布变化;KL 不是质量分,不能单靠它认定奖励攻击或决定早停

判断改动有没有用: 固定评估协议,对照改动前后的多次结果及波动。训练 loss 降低、单次奖励升高、梯度有限,都不等于任务已经学会。


📖 术语对照

中文 英文 一句话
马尔可夫决策过程 MDP 用状态、动作、转移和奖励描述序贯问题;还需说明初始分布、折扣或期限等目标设定,不同资料的元组记法不同
策略 Policy 从状态或可用观测给出动作,或动作的概率分布
回报 Return 后续奖励的累计值;本页默认按 γ 折扣
价值函数 Value Function 在给定策略、状态(及需要时的动作/时间)下的期望回报
优势函数 Advantage 指定动作比同一策略在该状态的平均表现好多少
自举 Bootstrapping 更新目标中使用另一个当前估值,而非只用实际观测的完整回报
同策略 / 异策略 on-policy / off-policy 目标策略与采样行为策略相同 / 可以不同;也常译为同策略 / 离策略
经验回放 Experience Replay 存储历史转移并再次抽样;打乱抽样可减弱相关性,不保证独立同分布
目标网络 Target Network 提供变化较慢的目标估值;可以定期硬复制,也可以持续软更新,不是永远冻结
探索利用 Exploration-Exploitation 获取新信息与利用现有估计之间的权衡
奖励攻击 Reward Hacking 评分代理变高,却没有实现甚至损害真正目标
可验证奖励 RLVR 用答案校验、单元测试等可执行检查提供奖励的 RL;验证器仍可能不完整或被利用

🔗 跨教程速查

这里学的 在哪里被用到
探索与利用 / Thompson Sampling 推荐算法 · 冷启动
PPO + RLHF 全景导论主线 4 · 它怎样从续写机变助手
DPO / 对齐 全景导论 · 对齐与安全
MDP / 序贯决策 智能体工程教程
偏差-方差(TD vs MC) 数学原理 · 偏差方差分解;用于理解概念,不能把监督学习分解直接当作所有 RL 估计器的结论
优化器(Adam / 学习率调度) ML 基础 · 优化器与学习率
梯度裁剪(本表的 0.5、第 8 章代码的 10) ML 基础 · RNN与序列建模:理解梯度爆炸与 max_norm;两个参考阈值并不构成矛盾

👉 回到首页

打卡记录保存在你的浏览器里,首页能看到总进度