🏠 总目录📚 本教程 11 · PPO ← →

想重复利用一批轨迹,怎样避免策略一步改得太远?

读后可检查:读清概率比和 PPO-Clip 的裁剪目标,核对它的作用范围与采样更新流程。

📑 本页目录(点开跳转)

11 · PPO

⏱ 30 分钟 | ⭐ 一次更新,为什么不能只追求眼前的分数

时间是起步参考,不是读完期限。先看裁剪的两种情况,再按需运行一次完整更新。

🎯 一句话

PPO-Clip 限制的是“继续推高代理目标的好处”,不是给策略变化装上硬限位。

例如旧策略选某动作的概率是 0.4,新策略变成 0.6,概率比就是 1.5。若该动作的优势为正、ε=0.2,这条样本的目标在比值 1.2 之后不再增加;实际概率仍可能到 0.6。

本页沿着三个问题读:比什么、哪里封顶、实现时还要检查什么。 完整训练项目在第 15 章。

💥 一、先看清那个毛病

策略改变后,接下来访问的状态和采取的动作也会变。 这让一次过大的更新可能影响后续的数据收集。

假设机器人原本能站稳,更新后却很快摔倒。下一批轨迹可能大多只有“刚站起来就结束”,原先较长轨迹中的信息变少;恢复训练可能更困难。

但不要把它读成“策略一定崩溃,而且永远回不来”。探索、重采样、恢复检查点等都可能帮助恢复,结果取决于任务和实现。

监督学习通常复用一个固定数据集,不会因这一步参数变化而立刻改变训练样本的来源;它也不保证大步更新后一定能恢复。这里比较的是常见的数据收集方式,不是两个领域的绝对分界。

本章的目标:用最近采到的数据改进策略,同时监控更新有没有走得过远。

📏 二、怎么衡量“离得远”

先区分两个量:概率比看一个已采到的动作,KL 看同一状态下整份动作分布。

某个动作的比值是 1,不表示其他动作的概率都没变。后面用 ρ 表示概率比,避免和环境奖励 r 混淆。

TRPO 把“别偏离太远”写进约束优化。下面是常见的平均 KL 近似形式,采样状态来自旧策略:

$$\max_\theta\ \mathbb{E}_{\rm old}[\rho_t A_t]$$

$$\mathbb{E}_{s\sim d_{\rm old}}\!\left[D_{\rm KL}(\pi_{\rm old}\|\pi_\theta)\right]\leq\delta$$

  • 代理目标:用旧数据和优势估计来判断更新方向,不是重新跑完新策略得到的真实回报。
  • 平均 KL:在旧策略访问到的状态上取平均;δ 是允许的平均变化阈值,不能理解成每个状态都被同样限制。
  • 实现成本:通常涉及 Fisher / Hessian 向量积、共轭梯度和线搜索;不必显式存储整张二阶导数矩阵。

TRPO 原论文第 3–6 节先给出有条件的改进下界,再作采样和优化近似。实际神经网络 TRPO 不等于每次更新都保证回报上涨。

KL 不对称,方向要写清楚;但“一个必然覆盖全部模式,反过来必然塌缩”也不是通用结论。需要复习时去数学原理 01b · KL 散度。

PPO 是一组一阶优化方法。本页讲 PPO-Clip;另有通过 KL 惩罚调节更新的 PPO-Penalty。不要把两种目标混在一起。

✂️ 三、裁剪目标(PPO-Clip)

第一步:固定旧策略,比较同一个动作

$$\rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\rm old}(a_t\mid s_t)}$$

分母是采样时的策略,更新同一批数据期间不变。分子每次更新后重新计算。连续动作对应概率密度比;本页例子使用离散概率。

旧概率 0.4 → 新概率 0.6:ρ=1.5,意思是相对增加 50%,不是增加 50 个百分点,更不是整个策略距离为 1.5。

第二步:算出被裁剪的比值

$$c_t=\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)$$

ε=0.2 时,c 被夹在 0.8 和 1.2 之间。被夹住的是参与计算的 c,不是实际网络输出的 ρ。

第三步:两个候选值取较小者,再求平均

$$\ell_t=\min(\rho_t A_t,\ c_t A_t)$$

$$L_{\rm clip}=\mathbb{E}_{\rm old}[\ell_t]$$

这里最大化 L;代码为了用梯度下降,最小化 −L。A 是这条样本相对基线的优势估计,估计本身可能不准;更新本批数据时把它作为固定目标。

💡 用两种情况把它讲清楚

下面固定 ε=0.2,用 A=+2 与 A=−2。两种情况的目标都是越大越好,负数变得没那么负也是增加。

概率比 ρA=+2 的目标A=−2 的目标
0.51.0−1.6
0.81.6−1.6
1.02.0−2.0
1.22.4−2.4
1.52.4−3.0

A>0:增加这个动作的概率有利。 ρ 从 1 到 1.2,目标从 2 到 2.4;再到 1.5,目标仍是 2.4。反方向若跌到 0.5,目标会降到 1,并没有被保护在 1.6。

A<0:减少这个动作的概率有利。 ρ 从 1 到 0.8,目标从 −2 升到 −1.6;再到 0.5,仍是 −1.6。反方向若涨到 1.5,目标降到 −3,仍在惩罚这个变化。

看下图的平台位置:正优势只在右侧封顶,负优势只在左侧封顶;不是两个方向一出界都变平。

A = +2,ε = 0.2单条样本目标 ℓ(越大越好)00.81.62.43.20.40.811.21.6新旧概率比 ρ右侧封顶为 2.4A = -2,ε = 0.2单条样本目标 ℓ(越大越好)-3.2-2.4-1.6-0.800.40.811.21.6新旧概率比 ρ左侧封顶为 −1.6平台只取消这条样本继续改进的激励,不是硬概率范围。
两图纵轴都是单条样本真实代理目标,未平移。A=+2 时右侧封顶,A=−2 时左侧封顶;不利方向越界仍会降低目标。平台不代表整个网络梯度为零,也不保证策略不会远离旧策略。

min 的“悲观”是相对于未裁剪的代理项 ρA。 它不大于该代理项,但并不是实际环境回报的普遍下界,也不是策略单调改进的证明。

平台上这条样本的策略代理项局部梯度可以为 0,整个网络的更新不一定为 0:其他样本、熵项、共享参数的价值损失,以及优化器状态仍可能改变该动作概率。

Spinning Up 的 PPO 说明也明确区分裁剪与硬约束,并介绍用平均 KL 提前停止继续更新的实现。

🔁 四、为什么能重复利用数据

同一批最近采样的数据可以做若干轮小批量更新,但不是无限次重复使用。

  1. 采样:冻结当时的策略,收集状态、动作、奖励、旧 log-probability 和价值估计。
  2. 定目标:计算回报与优势;在本轮更新中保留旧概率和目标,不让它们跟着当前网络变化。
  3. 更新:新策略重新计算这些动作的 log-probability,用概率比形成代理目标。
  4. 检查与换数据:监控 KL、目标、梯度和独立评估;达到更新轮数或提前停止条件后,用最新策略重新采样。

概率比修正的是给定旧状态时的动作概率。它不会自动消除状态访问分布改变、优势估计误差和有限样本误差。

所以 PPO 通常仍归为 on-policy:主要围绕最近一批策略数据更新,而不是像 DQN 那样长期使用历史回放池。原始 REINFORCE 直接把旧样本当新策略样本来反复更新也会有偏差;“只能对同一数据调用一次优化器”不是数学禁令。

更新轮数越多不保证收益越大。ε、学习率、批量大小和轮数要一起检查;减小 ε 也不保证实测 KL 单调下降。

🔨 五、从采样到更新:一个能单独运行的小例子

下面跑完整的一次“采样—GAE—多轮更新”,不冒充完整训练成绩。 它替换原先缺少 policy、compute_gae、minibatches、opt 的骨架。

环境只有两个状态,按 0、1 各走一步后终止。动作也是 0、1;动作等于当前状态时奖 1,否则奖 0。因此能直接检查算法接线,无需安装游戏环境。

依赖 PyTorch,使用 CPU。代码包含全部导入、模型、采样、优势计算和优化器。要做长期训练,需要继续重复采样与更新,并加入独立评估;见项目 A 的验收。

运行一次完整 PPO 更新:含 GAE 与小批量循环
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.distributions import Categorical, kl_divergence

torch.manual_seed(7)
torch.set_num_threads(1)

def compute_gae(rewards, values, next_values, terminated, episode_end,
                gamma=0.99, lam=0.95):
    # terminated: 真正终止,不自举。
    # episode_end: 终止或外部截断,不把下一回合的优势传回来。
    with torch.no_grad():
        delta = rewards + gamma * (~terminated).float() * next_values - values
        advantages = torch.zeros_like(rewards)
        carry = torch.tensor(0.0)
        for t in reversed(range(len(rewards))):
            carry = delta[t] + gamma * lam * (~episode_end[t]).float() * carry
            advantages[t] = carry
        returns = advantages + values
    return advantages, returns

actor = nn.Sequential(nn.Linear(2, 16), nn.Tanh(), nn.Linear(16, 2))
critic = nn.Sequential(nn.Linear(2, 16), nn.Tanh(), nn.Linear(16, 1))
params = list(actor.parameters()) + list(critic.parameters())
opt = torch.optim.Adam(params, lr=3e-4)
basis = torch.eye(2)

# 本轮策略不更新,收集 32 个两步回合,共 64 条转移。
states, actions, rewards, next_states, ends = [], [], [], [], []
with torch.no_grad():
    for episode in range(32):
        for state in (0, 1):
            obs = basis[state]
            action = Categorical(logits=actor(obs)).sample()
            states.append(obs)
            actions.append(action)
            rewards.append(float(action.item() == state))
            next_states.append(basis[1] if state == 0 else torch.zeros(2))
            ends.append(state == 1)
    states = torch.stack(states)
    actions = torch.stack(actions)
    rewards = torch.tensor(rewards)
    terminated = torch.tensor(ends)
    episode_end = terminated.clone()  # 本例没有外部时间截断。
    old_dist = Categorical(logits=actor(states))
    old_probs = old_dist.probs.clone()
    old_logp = old_dist.log_prob(actions).clone()
    old_values = critic(states).squeeze(-1)
    next_values = critic(torch.stack(next_states)).squeeze(-1)
    advantages, returns = compute_gae(
        rewards, old_values, next_values, terminated, episode_end
    )
    advantages = (advantages - advantages.mean()) / (
        advantages.std(unbiased=False) + 1e-8
    )
    before = Categorical(logits=actor(basis)).probs.diagonal().clone()

# 冻结旧策略数据,当前策略在每个 minibatch 上重新前向。
eps, epochs, batch_size, target_kl = 0.2, 4, 16, 0.02
updates, stopped = 0, False
for epoch in range(epochs):
    for idx in torch.randperm(len(states)).split(batch_size):
        with torch.no_grad():
            mean_kl = kl_divergence(
                Categorical(probs=old_probs),
                Categorical(logits=actor(states)),
            ).mean()
        if mean_kl.item() > target_kl:
            stopped = True
            break  # 只是停止后续更新,不撤销已经发生的那一步。
        dist = Categorical(logits=actor(states[idx]))
        logp = dist.log_prob(actions[idx])
        ratio = torch.exp(logp - old_logp[idx])
        s1 = ratio * advantages[idx]
        s2 = ratio.clamp(1 - eps, 1 + eps) * advantages[idx]
        policy_loss = -torch.minimum(s1, s2).mean()
        value_loss = F.mse_loss(critic(states[idx]).squeeze(-1), returns[idx])
        entropy = dist.entropy().mean()  # ⭐ 当前 minibatch 的当前策略!
        loss = policy_loss + 0.5 * value_loss - 0.01 * entropy
        assert torch.isfinite(loss)
        opt.zero_grad()
        loss.backward()
        grad_norm = nn.utils.clip_grad_norm_(params, 0.5)
        assert torch.isfinite(grad_norm)
        opt.step()
        updates += 1
    if stopped:
        break

with torch.no_grad():
    after = Categorical(logits=actor(basis)).probs.diagonal()
    final_kl = kl_divergence(
        Categorical(probs=old_probs), Categorical(logits=actor(states))
    ).mean()
assert not old_logp.requires_grad and not returns.requires_grad
print("transitions, updates, early_stop:", len(states), updates, stopped)
print("correct-action probabilities before:", before.tolist())
print("correct-action probabilities after: ", after.tolist())
print("old-to-new mean KL:", final_kl.item())

读输出时先看三件事: 采样是否正好 64 条;优化次数是否不超过 16 次;概率与 KL 是否是有限数。这些能检查数据和更新流程,不能证明已经解决控制任务。

本地 CPU 实跑这份例子得到 64 条转移、16 次更新,未触发早停;两个状态的正确动作概率约从 0.5416、0.4065 变成 0.5550、0.4116,最终平均 KL 约为 0.000208。这只是这个固定小例子的一轮观察,不是完整训练成绩。

本例的 KL 在每个旧状态上对所有动作计算,再对状态记录求平均。大词表或连续策略可能使用不同计算或估计方式,不能不说明口径就横向比较数值。

先核对 GAE 的两个边界

真正终止时,后续价值取 0。外部时间截断时,若任务本来还会继续,要用重置前最后观测的价值自举;但优势递推不能跨到重置后的新回合。

只因采样批量满了而停下、环境未结束时,也要用尾部价值自举;本批递推没有后续残差可用,carry 从 0 开始。不把 reset() 返回的新初始状态当成前一回合的尾部。

例如最后记录 r=1、V=2、尾部 V′=4、γ=0.9:真正终止的 δ=−1;外部截断的 δ=2.6。它们需要不同掩码,而不是一个 done 管全部。

⚠️ 六个实现细节:逐项观察,不设“万能必加项”

优势标准化。 常有帮助,但不是定义的一部分;明确按整批还是 minibatch 归一化,检查近零方差。本例按整批,使用总体标准差。

梯度裁剪。 限制梯度范数,不等于限制参数步长或 KL;0.5 是本例设置,不是所有任务必需。

log-probability 算比值。 用 exp(logp−old_logp) 避免先乘一长串小概率;指数本身仍可能溢出。非有限数要定位,不能静默裁成“正常”。

当前策略的熵。 每个 minibatch 重新计算。不能用采样阶段旧 dist 的熵;系数要结合动作空间、奖励尺度和评估调节。

重复更新轮数。 同时看 KL 与任务质量,必要时停止后续更新;clip 不保证任何轮数都安全。

观测归一化。 对尺度差异大的连续观测可能有用;固定统计口径,评估时冻结统计量,离散 one-hot 小例子不必套用。

Implementation Matters 的 PPO/TRPO 实验说明工程配置能显著改变实验结果;它不支持把某两项宣布为所有任务中最重要的因素。

🎯 六、PPO 在 RLHF 里的样子

PPO 的采样策略、旧策略和 RLHF 参考策略不是同一个角色。

RL 中的量 自回归文本生成里的对应
状态 s 提示、对话上下文,以及已经生成的回答 token
动作 a 下一个 token
策略 π 给出下一 token 分布的语言模型
任务奖励 常见序列级 RM 在回答结束处评分;过程奖励等做法可以在中途给分
Critic 估计剩余回报的价值网络或价值头,不是奖励模型
旧策略 π_old 本轮回答采样时的策略;下一轮采样时会更新
参考策略 π_ref 固定参照,常从 SFT 模型取得;不随每个 PPO minibatch 更新

一种常见 RLHF 目标把回答分数与偏离参考策略的代价结合:

$$J(\theta)=\mathbb{E}_{y\sim\pi_\theta}[R(x,y)]-\beta K_x(\theta)$$

$$K_x(\theta)=D_{\rm KL}(\pi_\theta(\cdot\mid x)\|\pi_{\rm ref}(\cdot\mid x))$$

这里固定提示 x,y 是完整回答;训练时还要对提示分布取平均。β>0 时为偏移收取代价,不是强制 K 必须小于某个常数。

一种 token 级实现使用采样到的 log 概率比:

$$k_t=\log\pi_\theta(a_t\mid s_t)-\log\pi_{\rm ref}(a_t\mid s_t)$$

$$\widetilde r_t=r_t^{\rm task}-\beta k_t$$

单个 k 可以为负;在当前策略采样等适当条件下求期望才对应 KL。序列求和与 token 平均的单位不同。复用旧策略数据时,采样与估计的口径还需要另行核对。

clip 主要改变相对本轮旧策略的更新激励;参考 KL 惩罚偏离固定参照。 两层都不是质量保证。RM 分数升高可能是进步,也可能是过优化;应结合独立人工或可验证评估,不能只盯 KL 判定“奖励攻击”。

完整流程与奖励模型局限见第 12 章。历史实例可读InstructGPT 论文,不能据此推断所有当前助手的训练方式。

📊 七、超参速查:把它当实验起点

下面保留原章的量级参考,不把它们写成默认答案。 控制任务和语言模型不能仅因都叫 PPO 就复用整套超参。

超参 原章给出的起步参考 必须一起记录
clip ε 0.2;RLHF 有使用 0.2 或更小的设置 更新轮数、学习率、KL 与质量
γ 控制示例 0.99;文本序列目标可用 1.0 任务是否有限回合、希望怎样权衡远期奖励
GAE λ 0.95 价值误差、终止与截断处理
K_EPOCHS 控制 3–10;RLHF 示例范围 1–4 批量、minibatch 和真实优化次数
学习率 控制 3e-4;RLHF 示例量级 1e-6–1e-5 模型规模、优化器、可训练参数和奖励尺度
熵系数 控制示例 0.01;部分 RLHF 设置为 0 其他探索机制、KL 正则、实际熵
梯度裁剪范数 示例 0.5 裁剪前梯度范数与触发频率

预训练模型微调往往需要谨慎控制更新,但不能推出“RLHF 学习率总比控制小固定两三个数量级”。全参数、LoRA、不同模型和优化器的数值不能只按任务名决定。

🔗 和站内其他章的关系

相关章节 什么时候去
第 9 章 · 策略梯度 还不清楚为什么优势会影响动作概率
第 10 章 · Actor-Critic 复习价值基线、GAE 与熵
全景导论主线 4 · 训练三阶段 先看 PPO 在一条历史对齐流程中的位置
第 13 章 · DPO 已有偏好对时,了解不跑在线 PPO 的训练方式

算法来源:PPO 原论文。本页只展开 PPO-Clip;变体、实现默认值与完整实验配置应回到所用版本核对。

✅ 检查点

  1. 为什么策略更新可能影响下一批 RL 数据?这意味着一定无法恢复吗?
  2. TRPO 约束的是什么?实际实现为什么不能直接继承理想理论的全部保证?
  3. 概率比 ρ=1.5 表示什么?它等于整个策略的 KL 吗?
  4. ε=0.2 时,分别用 A=+2 和 A=−2 解释平台在哪一侧。
  5. min 的下界是相对哪个目标?它能保证环境回报上涨吗?
  6. 同一批数据更新多轮时,什么冻结、什么重算、什么时候重新采样?
  7. 从六个实现细节中选两项,说出具体检查方法,而不是背“必加”。
  8. RLHF 的状态、动作、任务奖励和 Critic 分别是什么?
  9. π_old 与 π_ref 有什么区别?clip 和参考 KL 是否是硬保证?
  10. 为什么不能照抄“控制 3e-4、RLHF 1e-6”的学习率?
👀 答案:对照条件,不只记结论
  1. 策略会改变动作和访问状态,从而改变后续数据;坏更新可能让恢复困难,但不是不可逆的定理。
  2. 常见实现约束旧状态分布下的平均 KL,涉及二阶信息的向量积、共轭梯度与线搜索。有限样本、平均替代最坏状态和近似求解都不同于理想理论条件。
  3. 在同一状态,已采动作的新概率是旧概率的 1.5 倍。它只看一个动作,不等于整个分布的 KL。
  4. A=+2 时右侧平台为 2.4;A=−2 时左侧平台为 −1.6。往不利方向越界仍可继续降低目标。
  5. 裁剪项不大于未裁剪代理项 ρA;不是实际回报的普遍下界,也不保证单调改进。
  6. 冻结旧 logp 和本批优势/回报目标;重算当前 logp、价值预测和熵。达到轮数或提前停止条件后采新数据,不把旧池无限回放。
  7. 例如检查 advantages.std 是否接近零;每个 minibatch 的 entropy 是否来自当前 dist。还可检查梯度范数、KL、轮数、观测统计和非有限值。
  8. 状态是提示与已生成 token,动作是下一 token;常见 RM 给完整回答评分,Critic 估计剩余回报。过程奖励不一定只在结尾出现。
  9. old 是本轮采样策略,ref 是固定参照。clip 去掉部分代理激励,KL 正则为偏移收费;它们都不是硬概率范围或回答质量保证。
  10. 学习率受模型、参数化、优化器、批量、奖励与损失尺度影响。给出的数值是参考量级,须通过当前实验验证。

本节回顾

⚡ 走神救援

先记住这几件事

  • PPO-Clip 在有利方向给单条样本的代理目标封顶,不把真实概率夹在区间里。
  • 本批旧概率和目标固定,当前策略与熵重算;多轮后要重新采样并检查策略变化。
  • 真终止不自举,外部截断可自举,但优势不能跨到重置后的回合。
  • RLHF 的固定参考与本轮旧策略不同;KL、奖励分数和独立质量要分开看。

下一节 👉 12-RLHF全流程.md

打卡记录保存在你的浏览器里,首页能看到总进度