11 · PPO
⏱ 30 分钟 | ⭐ 一次更新,为什么不能只追求眼前的分数
时间是起步参考,不是读完期限。先看裁剪的两种情况,再按需运行一次完整更新。
🎯 一句话
PPO-Clip 限制的是“继续推高代理目标的好处”,不是给策略变化装上硬限位。
例如旧策略选某动作的概率是 0.4,新策略变成 0.6,概率比就是 1.5。若该动作的优势为正、ε=0.2,这条样本的目标在比值 1.2 之后不再增加;实际概率仍可能到 0.6。
本页沿着三个问题读:比什么、哪里封顶、实现时还要检查什么。 完整训练项目在第 15 章。
💥 一、先看清那个毛病
策略改变后,接下来访问的状态和采取的动作也会变。 这让一次过大的更新可能影响后续的数据收集。
假设机器人原本能站稳,更新后却很快摔倒。下一批轨迹可能大多只有“刚站起来就结束”,原先较长轨迹中的信息变少;恢复训练可能更困难。
但不要把它读成“策略一定崩溃,而且永远回不来”。探索、重采样、恢复检查点等都可能帮助恢复,结果取决于任务和实现。
监督学习通常复用一个固定数据集,不会因这一步参数变化而立刻改变训练样本的来源;它也不保证大步更新后一定能恢复。这里比较的是常见的数据收集方式,不是两个领域的绝对分界。
本章的目标:用最近采到的数据改进策略,同时监控更新有没有走得过远。
📏 二、怎么衡量“离得远”
先区分两个量:概率比看一个已采到的动作,KL 看同一状态下整份动作分布。
某个动作的比值是 1,不表示其他动作的概率都没变。后面用 ρ 表示概率比,避免和环境奖励 r 混淆。
TRPO 把“别偏离太远”写进约束优化。下面是常见的平均 KL 近似形式,采样状态来自旧策略:
$$\max_\theta\ \mathbb{E}_{\rm old}[\rho_t A_t]$$
$$\mathbb{E}_{s\sim d_{\rm old}}\!\left[D_{\rm KL}(\pi_{\rm old}\|\pi_\theta)\right]\leq\delta$$
- 代理目标:用旧数据和优势估计来判断更新方向,不是重新跑完新策略得到的真实回报。
- 平均 KL:在旧策略访问到的状态上取平均;δ 是允许的平均变化阈值,不能理解成每个状态都被同样限制。
- 实现成本:通常涉及 Fisher / Hessian 向量积、共轭梯度和线搜索;不必显式存储整张二阶导数矩阵。
TRPO 原论文第 3–6 节先给出有条件的改进下界,再作采样和优化近似。实际神经网络 TRPO 不等于每次更新都保证回报上涨。
KL 不对称,方向要写清楚;但“一个必然覆盖全部模式,反过来必然塌缩”也不是通用结论。需要复习时去数学原理 01b · KL 散度。
PPO 是一组一阶优化方法。本页讲 PPO-Clip;另有通过 KL 惩罚调节更新的 PPO-Penalty。不要把两种目标混在一起。
✂️ 三、裁剪目标(PPO-Clip)
第一步:固定旧策略,比较同一个动作
$$\rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\rm old}(a_t\mid s_t)}$$
分母是采样时的策略,更新同一批数据期间不变。分子每次更新后重新计算。连续动作对应概率密度比;本页例子使用离散概率。
旧概率 0.4 → 新概率 0.6:ρ=1.5,意思是相对增加 50%,不是增加 50 个百分点,更不是整个策略距离为 1.5。
第二步:算出被裁剪的比值
$$c_t=\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)$$
ε=0.2 时,c 被夹在 0.8 和 1.2 之间。被夹住的是参与计算的 c,不是实际网络输出的 ρ。
第三步:两个候选值取较小者,再求平均
$$\ell_t=\min(\rho_t A_t,\ c_t A_t)$$
$$L_{\rm clip}=\mathbb{E}_{\rm old}[\ell_t]$$
这里最大化 L;代码为了用梯度下降,最小化 −L。A 是这条样本相对基线的优势估计,估计本身可能不准;更新本批数据时把它作为固定目标。
💡 用两种情况把它讲清楚
下面固定 ε=0.2,用 A=+2 与 A=−2。两种情况的目标都是越大越好,负数变得没那么负也是增加。
| 概率比 ρ | A=+2 的目标 | A=−2 的目标 |
|---|---|---|
| 0.5 | 1.0 | −1.6 |
| 0.8 | 1.6 | −1.6 |
| 1.0 | 2.0 | −2.0 |
| 1.2 | 2.4 | −2.4 |
| 1.5 | 2.4 | −3.0 |
A>0:增加这个动作的概率有利。 ρ 从 1 到 1.2,目标从 2 到 2.4;再到 1.5,目标仍是 2.4。反方向若跌到 0.5,目标会降到 1,并没有被保护在 1.6。
A<0:减少这个动作的概率有利。 ρ 从 1 到 0.8,目标从 −2 升到 −1.6;再到 0.5,仍是 −1.6。反方向若涨到 1.5,目标降到 −3,仍在惩罚这个变化。
看下图的平台位置:正优势只在右侧封顶,负优势只在左侧封顶;不是两个方向一出界都变平。
min 的“悲观”是相对于未裁剪的代理项 ρA。 它不大于该代理项,但并不是实际环境回报的普遍下界,也不是策略单调改进的证明。
平台上这条样本的策略代理项局部梯度可以为 0,整个网络的更新不一定为 0:其他样本、熵项、共享参数的价值损失,以及优化器状态仍可能改变该动作概率。
Spinning Up 的 PPO 说明也明确区分裁剪与硬约束,并介绍用平均 KL 提前停止继续更新的实现。
🔁 四、为什么能重复利用数据
同一批最近采样的数据可以做若干轮小批量更新,但不是无限次重复使用。
- 采样:冻结当时的策略,收集状态、动作、奖励、旧 log-probability 和价值估计。
- 定目标:计算回报与优势;在本轮更新中保留旧概率和目标,不让它们跟着当前网络变化。
- 更新:新策略重新计算这些动作的 log-probability,用概率比形成代理目标。
- 检查与换数据:监控 KL、目标、梯度和独立评估;达到更新轮数或提前停止条件后,用最新策略重新采样。
概率比修正的是给定旧状态时的动作概率。它不会自动消除状态访问分布改变、优势估计误差和有限样本误差。
所以 PPO 通常仍归为 on-policy:主要围绕最近一批策略数据更新,而不是像 DQN 那样长期使用历史回放池。原始 REINFORCE 直接把旧样本当新策略样本来反复更新也会有偏差;“只能对同一数据调用一次优化器”不是数学禁令。
更新轮数越多不保证收益越大。ε、学习率、批量大小和轮数要一起检查;减小 ε 也不保证实测 KL 单调下降。
🔨 五、从采样到更新:一个能单独运行的小例子
下面跑完整的一次“采样—GAE—多轮更新”,不冒充完整训练成绩。 它替换原先缺少 policy、compute_gae、minibatches、opt 的骨架。
环境只有两个状态,按 0、1 各走一步后终止。动作也是 0、1;动作等于当前状态时奖 1,否则奖 0。因此能直接检查算法接线,无需安装游戏环境。
依赖 PyTorch,使用 CPU。代码包含全部导入、模型、采样、优势计算和优化器。要做长期训练,需要继续重复采样与更新,并加入独立评估;见项目 A 的验收。
运行一次完整 PPO 更新:含 GAE 与小批量循环
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.distributions import Categorical, kl_divergence
torch.manual_seed(7)
torch.set_num_threads(1)
def compute_gae(rewards, values, next_values, terminated, episode_end,
gamma=0.99, lam=0.95):
# terminated: 真正终止,不自举。
# episode_end: 终止或外部截断,不把下一回合的优势传回来。
with torch.no_grad():
delta = rewards + gamma * (~terminated).float() * next_values - values
advantages = torch.zeros_like(rewards)
carry = torch.tensor(0.0)
for t in reversed(range(len(rewards))):
carry = delta[t] + gamma * lam * (~episode_end[t]).float() * carry
advantages[t] = carry
returns = advantages + values
return advantages, returns
actor = nn.Sequential(nn.Linear(2, 16), nn.Tanh(), nn.Linear(16, 2))
critic = nn.Sequential(nn.Linear(2, 16), nn.Tanh(), nn.Linear(16, 1))
params = list(actor.parameters()) + list(critic.parameters())
opt = torch.optim.Adam(params, lr=3e-4)
basis = torch.eye(2)
# 本轮策略不更新,收集 32 个两步回合,共 64 条转移。
states, actions, rewards, next_states, ends = [], [], [], [], []
with torch.no_grad():
for episode in range(32):
for state in (0, 1):
obs = basis[state]
action = Categorical(logits=actor(obs)).sample()
states.append(obs)
actions.append(action)
rewards.append(float(action.item() == state))
next_states.append(basis[1] if state == 0 else torch.zeros(2))
ends.append(state == 1)
states = torch.stack(states)
actions = torch.stack(actions)
rewards = torch.tensor(rewards)
terminated = torch.tensor(ends)
episode_end = terminated.clone() # 本例没有外部时间截断。
old_dist = Categorical(logits=actor(states))
old_probs = old_dist.probs.clone()
old_logp = old_dist.log_prob(actions).clone()
old_values = critic(states).squeeze(-1)
next_values = critic(torch.stack(next_states)).squeeze(-1)
advantages, returns = compute_gae(
rewards, old_values, next_values, terminated, episode_end
)
advantages = (advantages - advantages.mean()) / (
advantages.std(unbiased=False) + 1e-8
)
before = Categorical(logits=actor(basis)).probs.diagonal().clone()
# 冻结旧策略数据,当前策略在每个 minibatch 上重新前向。
eps, epochs, batch_size, target_kl = 0.2, 4, 16, 0.02
updates, stopped = 0, False
for epoch in range(epochs):
for idx in torch.randperm(len(states)).split(batch_size):
with torch.no_grad():
mean_kl = kl_divergence(
Categorical(probs=old_probs),
Categorical(logits=actor(states)),
).mean()
if mean_kl.item() > target_kl:
stopped = True
break # 只是停止后续更新,不撤销已经发生的那一步。
dist = Categorical(logits=actor(states[idx]))
logp = dist.log_prob(actions[idx])
ratio = torch.exp(logp - old_logp[idx])
s1 = ratio * advantages[idx]
s2 = ratio.clamp(1 - eps, 1 + eps) * advantages[idx]
policy_loss = -torch.minimum(s1, s2).mean()
value_loss = F.mse_loss(critic(states[idx]).squeeze(-1), returns[idx])
entropy = dist.entropy().mean() # ⭐ 当前 minibatch 的当前策略!
loss = policy_loss + 0.5 * value_loss - 0.01 * entropy
assert torch.isfinite(loss)
opt.zero_grad()
loss.backward()
grad_norm = nn.utils.clip_grad_norm_(params, 0.5)
assert torch.isfinite(grad_norm)
opt.step()
updates += 1
if stopped:
break
with torch.no_grad():
after = Categorical(logits=actor(basis)).probs.diagonal()
final_kl = kl_divergence(
Categorical(probs=old_probs), Categorical(logits=actor(states))
).mean()
assert not old_logp.requires_grad and not returns.requires_grad
print("transitions, updates, early_stop:", len(states), updates, stopped)
print("correct-action probabilities before:", before.tolist())
print("correct-action probabilities after: ", after.tolist())
print("old-to-new mean KL:", final_kl.item())
读输出时先看三件事: 采样是否正好 64 条;优化次数是否不超过 16 次;概率与 KL 是否是有限数。这些能检查数据和更新流程,不能证明已经解决控制任务。
本地 CPU 实跑这份例子得到 64 条转移、16 次更新,未触发早停;两个状态的正确动作概率约从 0.5416、0.4065 变成 0.5550、0.4116,最终平均 KL 约为 0.000208。这只是这个固定小例子的一轮观察,不是完整训练成绩。
本例的 KL 在每个旧状态上对所有动作计算,再对状态记录求平均。大词表或连续策略可能使用不同计算或估计方式,不能不说明口径就横向比较数值。
先核对 GAE 的两个边界
真正终止时,后续价值取 0。外部时间截断时,若任务本来还会继续,要用重置前最后观测的价值自举;但优势递推不能跨到重置后的新回合。
只因采样批量满了而停下、环境未结束时,也要用尾部价值自举;本批递推没有后续残差可用,carry 从 0 开始。不把 reset() 返回的新初始状态当成前一回合的尾部。
例如最后记录 r=1、V=2、尾部 V′=4、γ=0.9:真正终止的 δ=−1;外部截断的 δ=2.6。它们需要不同掩码,而不是一个 done 管全部。
⚠️ 六个实现细节:逐项观察,不设“万能必加项”
优势标准化。 常有帮助,但不是定义的一部分;明确按整批还是 minibatch 归一化,检查近零方差。本例按整批,使用总体标准差。
梯度裁剪。 限制梯度范数,不等于限制参数步长或 KL;0.5 是本例设置,不是所有任务必需。
log-probability 算比值。 用 exp(logp−old_logp) 避免先乘一长串小概率;指数本身仍可能溢出。非有限数要定位,不能静默裁成“正常”。
当前策略的熵。 每个 minibatch 重新计算。不能用采样阶段旧 dist 的熵;系数要结合动作空间、奖励尺度和评估调节。
重复更新轮数。 同时看 KL 与任务质量,必要时停止后续更新;clip 不保证任何轮数都安全。
观测归一化。 对尺度差异大的连续观测可能有用;固定统计口径,评估时冻结统计量,离散 one-hot 小例子不必套用。
Implementation Matters 的 PPO/TRPO 实验说明工程配置能显著改变实验结果;它不支持把某两项宣布为所有任务中最重要的因素。
🎯 六、PPO 在 RLHF 里的样子
PPO 的采样策略、旧策略和 RLHF 参考策略不是同一个角色。
| RL 中的量 | 自回归文本生成里的对应 |
|---|---|
| 状态 s | 提示、对话上下文,以及已经生成的回答 token |
| 动作 a | 下一个 token |
| 策略 π | 给出下一 token 分布的语言模型 |
| 任务奖励 | 常见序列级 RM 在回答结束处评分;过程奖励等做法可以在中途给分 |
| Critic | 估计剩余回报的价值网络或价值头,不是奖励模型 |
| 旧策略 π_old | 本轮回答采样时的策略;下一轮采样时会更新 |
| 参考策略 π_ref | 固定参照,常从 SFT 模型取得;不随每个 PPO minibatch 更新 |
一种常见 RLHF 目标把回答分数与偏离参考策略的代价结合:
$$J(\theta)=\mathbb{E}_{y\sim\pi_\theta}[R(x,y)]-\beta K_x(\theta)$$
$$K_x(\theta)=D_{\rm KL}(\pi_\theta(\cdot\mid x)\|\pi_{\rm ref}(\cdot\mid x))$$
这里固定提示 x,y 是完整回答;训练时还要对提示分布取平均。β>0 时为偏移收取代价,不是强制 K 必须小于某个常数。
一种 token 级实现使用采样到的 log 概率比:
$$k_t=\log\pi_\theta(a_t\mid s_t)-\log\pi_{\rm ref}(a_t\mid s_t)$$
$$\widetilde r_t=r_t^{\rm task}-\beta k_t$$
单个 k 可以为负;在当前策略采样等适当条件下求期望才对应 KL。序列求和与 token 平均的单位不同。复用旧策略数据时,采样与估计的口径还需要另行核对。
clip 主要改变相对本轮旧策略的更新激励;参考 KL 惩罚偏离固定参照。 两层都不是质量保证。RM 分数升高可能是进步,也可能是过优化;应结合独立人工或可验证评估,不能只盯 KL 判定“奖励攻击”。
完整流程与奖励模型局限见第 12 章。历史实例可读InstructGPT 论文,不能据此推断所有当前助手的训练方式。
📊 七、超参速查:把它当实验起点
下面保留原章的量级参考,不把它们写成默认答案。 控制任务和语言模型不能仅因都叫 PPO 就复用整套超参。
| 超参 | 原章给出的起步参考 | 必须一起记录 |
|---|---|---|
| clip ε | 0.2;RLHF 有使用 0.2 或更小的设置 | 更新轮数、学习率、KL 与质量 |
| γ | 控制示例 0.99;文本序列目标可用 1.0 | 任务是否有限回合、希望怎样权衡远期奖励 |
| GAE λ | 0.95 | 价值误差、终止与截断处理 |
| K_EPOCHS | 控制 3–10;RLHF 示例范围 1–4 | 批量、minibatch 和真实优化次数 |
| 学习率 | 控制 3e-4;RLHF 示例量级 1e-6–1e-5 | 模型规模、优化器、可训练参数和奖励尺度 |
| 熵系数 | 控制示例 0.01;部分 RLHF 设置为 0 | 其他探索机制、KL 正则、实际熵 |
| 梯度裁剪范数 | 示例 0.5 | 裁剪前梯度范数与触发频率 |
预训练模型微调往往需要谨慎控制更新,但不能推出“RLHF 学习率总比控制小固定两三个数量级”。全参数、LoRA、不同模型和优化器的数值不能只按任务名决定。
🔗 和站内其他章的关系
| 相关章节 | 什么时候去 |
|---|---|
| 第 9 章 · 策略梯度 | 还不清楚为什么优势会影响动作概率 |
| 第 10 章 · Actor-Critic | 复习价值基线、GAE 与熵 |
| 全景导论主线 4 · 训练三阶段 | 先看 PPO 在一条历史对齐流程中的位置 |
| 第 13 章 · DPO | 已有偏好对时,了解不跑在线 PPO 的训练方式 |
算法来源:PPO 原论文。本页只展开 PPO-Clip;变体、实现默认值与完整实验配置应回到所用版本核对。
✅ 检查点
- 为什么策略更新可能影响下一批 RL 数据?这意味着一定无法恢复吗?
- TRPO 约束的是什么?实际实现为什么不能直接继承理想理论的全部保证?
- 概率比 ρ=1.5 表示什么?它等于整个策略的 KL 吗?
- ε=0.2 时,分别用 A=+2 和 A=−2 解释平台在哪一侧。
- min 的下界是相对哪个目标?它能保证环境回报上涨吗?
- 同一批数据更新多轮时,什么冻结、什么重算、什么时候重新采样?
- 从六个实现细节中选两项,说出具体检查方法,而不是背“必加”。
- RLHF 的状态、动作、任务奖励和 Critic 分别是什么?
- π_old 与 π_ref 有什么区别?clip 和参考 KL 是否是硬保证?
- 为什么不能照抄“控制 3e-4、RLHF 1e-6”的学习率?
👀 答案:对照条件,不只记结论
- 策略会改变动作和访问状态,从而改变后续数据;坏更新可能让恢复困难,但不是不可逆的定理。
- 常见实现约束旧状态分布下的平均 KL,涉及二阶信息的向量积、共轭梯度与线搜索。有限样本、平均替代最坏状态和近似求解都不同于理想理论条件。
- 在同一状态,已采动作的新概率是旧概率的 1.5 倍。它只看一个动作,不等于整个分布的 KL。
- A=+2 时右侧平台为 2.4;A=−2 时左侧平台为 −1.6。往不利方向越界仍可继续降低目标。
- 裁剪项不大于未裁剪代理项 ρA;不是实际回报的普遍下界,也不保证单调改进。
- 冻结旧 logp 和本批优势/回报目标;重算当前 logp、价值预测和熵。达到轮数或提前停止条件后采新数据,不把旧池无限回放。
- 例如检查 advantages.std 是否接近零;每个 minibatch 的 entropy 是否来自当前 dist。还可检查梯度范数、KL、轮数、观测统计和非有限值。
- 状态是提示与已生成 token,动作是下一 token;常见 RM 给完整回答评分,Critic 估计剩余回报。过程奖励不一定只在结尾出现。
- old 是本轮采样策略,ref 是固定参照。clip 去掉部分代理激励,KL 正则为偏移收费;它们都不是硬概率范围或回答质量保证。
- 学习率受模型、参数化、优化器、批量、奖励与损失尺度影响。给出的数值是参考量级,须通过当前实验验证。
本节回顾
⚡ 走神救援
先记住这几件事
- PPO-Clip 在有利方向给单条样本的代理目标封顶,不把真实概率夹在区间里。
- 本批旧概率和目标固定,当前策略与熵重算;多轮后要重新采样并检查策略变化。
- 真终止不自举,外部截断可自举,但优势不能跨到重置后的回合。
- RLHF 的固定参考与本轮旧策略不同;KL、奖励分数和独立质量要分开看。
下一节 👉 12-RLHF全流程.md