09 · 策略梯度
⏱ 24 分钟 | ⭐ 直接学习怎么选动作,而不是先把每个动作估价
时间是起步参考,不是读完期限。先看两个按钮的例子,再按需打开推导或运行代码。
🎯 一句话
策略梯度用实际采到的回报,调整策略选择动作的概率。 它是 REINFORCE、PPO 等方法的数学起点。
先想一个只有一步的小游戏:按按钮 0 得 1 分,按按钮 1 得 2 分,然后结束。开始时两个按钮各有 50% 的概率被选中,平均每局得 1.5 分。
我们希望策略逐渐更常选择按钮 1。注意:1 分也是正数,却比另一个动作差。 所以“回报低”不等于“回报是负的”,一次采样也不一定指向更好的按钮。
🚪 一、为什么要换路(三个理由)
第 8 章的 DQN 先估计各离散动作的 Q 值,再选动作。这里改为直接参数化策略;不是说前面所有方法都只学习 Q。
| 想解决的问题 | 直接学习策略能带来什么 |
|---|---|
| 连续动作不好逐个枚举 | 让策略输出动作分布,例如方向盘角度的均值和尺度;不必枚举无穷多个角度 |
| 希望明确控制随机性 | 直接输出可采样的分布,适合探索,也方便表示随机策略 |
| 选择规则可能比完整估价简单 | 有些任务中,“看到障碍怎样绕开”比精确估算所有动作的长期价值更容易建模;不是普遍保证 |
两个边界要分清。 连续动作的最大化不是数学上“算不了”,只是不能用普通 DQN 那样的有限枚举;也有数值优化和确定性策略梯度等办法。
石头剪刀布说明随机化在对抗场景中可能重要,但它不是普通单智能体 MDP 的通用结论。有限状态、有限动作、折扣型 MDP 可以存在确定性的平稳最优策略;价值方法也能配合随机探索或随机策略改进。
🎯 二、目标函数
目标看的是反复玩下去的平均成绩,不是某一局是否走运。 用 θ 表示策略参数,πθ(a|s) 表示在状态 s 选择动作 a 的概率。
本页主线先用有限回合、不折扣(γ=1):每局最多 T 步,真正结束后的奖励按 0 处理。时间会影响决策时,把剩余时间计入状态。
$$R(\tau)=\sum_{t=0}^{T-1}r_t$$
τ 是一局的状态、动作与奖励记录;r_t 是第 t 步动作之后拿到的奖励。
$$J(\theta)=\mathbb E_{\tau\sim\pi_\theta}[R(\tau)]$$
按钮例子里,如果选按钮 1 的概率是 p,期望成绩就是 1×(1−p)+2×p=1+p。p 从 0.5 增加到 0.6,期望成绩才从 1.5 增加到 1.6;一局的成绩仍只能是 1 或 2。
难点在于:参数变了,动作概率会变,之后采到的轨迹也会变。不能把一个固定批次上的训练损失直接当成新策略的真实成绩。
⭐ 三、策略梯度定理
先把更新拆成“往哪调”和“这条经验占多大权重”。 定义一个简写:
$$z_t=\nabla_\theta\log\pi_\theta(a_t|s_t)$$
z_t 是一个参数方向:沿它走一小步,通常会提高当前这个已采样动作的对数概率。它不是动作概率本身,也不是一个分数。
本页目标对应的梯度为:
$$\nabla_\theta J=\mathbb E\left[\sum_{t=0}^{T-1}z_t R(\tau)\right]$$
- z_t:这一步动作提供的调整方向。
- R(τ):这局给这个方向的权重,可能为正、零或负。
- 求和再求期望:先汇总一局里的各步,再对当前策略产生的许多局取平均。
正权重会鼓励该样本中的动作;负权重会抑制它。如果所有回报都为正,不代表所有动作的概率能同时变大——同一状态的概率总和仍然是 1,不同样本和共享参数也会相互影响。
📐 想看推导:为什么不用对环境求导?
这里假设策略可微,并且可以交换积分与求导;初始状态分布、环境转移和奖励机制都不依赖 θ。若环境本身也由 θ 控制,下面不能直接省略那些导数。
第一步,把“对轨迹概率求导”改写为对数导数:
$$\nabla_\theta p_\theta(\tau)=p_\theta(\tau)\nabla_\theta\log p_\theta(\tau)$$
于是目标的梯度可以写成一个采样期望:
$$\nabla_\theta J=\mathbb E\left[R(\tau)\nabla_\theta\log p_\theta(\tau)\right]$$
第二步,展开轨迹概率。先把环境对“下一状态与这一步奖励”的联合概率记成 q_t:
$$q_t=P(s_{t+1},r_t|s_t,a_t)$$
τ 包含奖励记录,因此奖励随机时也必须计入轨迹概率,不能只写下一状态的概率。
$$p_\theta(\tau)=p(s_0)\prod_{t=0}^{T-1}\pi_\theta(a_t|s_t)q_t$$
取对数会把乘积变成求和。初始分布与转移概率不含 θ,它们的对数导数为 0,只剩:
$$\nabla_\theta\log p_\theta(\tau)=\sum_{t=0}^{T-1}z_t$$
代回去,就得到上面的策略梯度公式。不需要显式知道转移概率 P,也不需要穿过环境反向传播;但仍需要能采到状态、动作和奖励。 环境不是从真实的数据收集过程中消失了。
推导路线可对照 Spinning Up 的策略优化讲解。
🎬 四、REINFORCE:最朴素的实现
先采完整回合,再用每一步之后的回报更新策略。 这个“从现在往后算”的回报叫 reward-to-go;不把已经发生的奖励再归给后来的动作。
$$G_t=\sum_{k=t}^{T-1}r_k$$
例如一局奖励是 [2,3],两步的 G 分别是 [5,3]。这与让两步都乘整局回报 5 的估计式期望一致;理由放在下一节。
操作步骤
- 用当前策略采一批完整回合,记录状态、动作和奖励。
- 在每个回合内部,从后往前算 G;不能跨回合接着累加。
- 每局先对各步的 logprob × G 求和,再对各局取平均。
- 最小化上述量的负数,更新后重新采样。
可以直接运行:两个按钮,一次更新
需要安装 PyTorch,使用 CPU 即可。下面每局只有一步;64 局是 64 个独立回合,不是一个 64 步长的回合。先运行整段,再看最后两行的概率和期望成绩。
import torch
from torch import nn
from torch.distributions import Categorical
torch.manual_seed(7)
class ButtonPolicy(nn.Module):
def __init__(self):
super().__init__()
self.logits = nn.Parameter(torch.zeros(2))
def forward(self, states):
return Categorical(logits=self.logits.expand(len(states), -1))
def reward_to_go(rewards):
total, values = 0.0, []
for reward in reversed(rewards):
total = float(reward) + total # 本例 gamma = 1
values.append(total)
return torch.tensor(values[::-1], dtype=torch.float32)
def reinforce_update(policy, opt, episodes):
episode_losses = []
for states, actions, rewards in episodes:
weights = reward_to_go(rewards).detach()
logp = policy(states).log_prob(actions)
episode_losses.append(-(logp * weights).sum())
loss = torch.stack(episode_losses).mean()
opt.zero_grad()
loss.backward()
opt.step()
policy = ButtonPolicy()
opt = torch.optim.SGD(policy.parameters(), lr=0.1)
episodes = []
with torch.no_grad():
for _ in range(64):
states = torch.tensor([0]) # 每局都从同一个状态开始
actions = policy(states).sample()
rewards = [1.0 + actions.item()]
episodes.append((states, actions, rewards))
before = policy.logits.softmax(0)[1].item()
reinforce_update(policy, opt, episodes)
after = policy.logits.softmax(0)[1].item()
print(f"P(button 1): {before:.4f} -> {after:.4f}")
print(f"Expected reward: {1 + before:.4f} -> {1 + after:.4f}")
读代码时只抓三处。 reward_to_go 不跨回合;weights 不参与求导;负号把最大化目标转成优化器的最小化损失。
这次 CPU 实跑,按钮 1 的概率从 0.5000 → 0.5172,对应期望成绩从 1.5000 → 1.5172。这是指定种子下的一次小实验,不是算法性能排名。
最后一行的期望成绩直接由这个已知小游戏算出,不是复杂环境的评测办法。一次有限采样可能给出不理想的方向;真实任务需要多批数据、独立评测和多个随机种子,不能凭训练损失下降宣称策略改善。
实现边界:标准化、旧数据和折扣因子
本例故意不按每局标准化回报。 一步回合减去自己的平均回报,权重会变成 0,完全没有学习信号。若再用默认样本标准差,单个数还可能得到 NaN;换成总体标准差只能避免这个 NaN,不能恢复已被消掉的信号。
returns 会随新采样而变化,但在这一次策略反向传播中,它是固定权重,不是要穿过环境求导的变量。它与监督学习的区别在于权重与数据的来源,不是“一个常数、一个变量”。
这个普通 REINFORCE 更新用当前策略采样。直接拿很旧的轨迹反复套同一个式子,通常会造成分布不匹配;要复用旧数据,需要相应的校正和算法设计。
若改成从初始状态出发的折扣目标,先把口径写清:
$$R_\gamma=\sum_{t=0}^{T-1}\gamma^t r_t$$
局部折扣回报为 $G_t^\gamma=\sum_{k=t}^{T-1}\gamma^{k-t}r_k$。对应梯度中,每步还带有相对于起点的 γ^t:
$$\nabla_\theta J_\gamma=\mathbb E\left[\sum_{t=0}^{T-1}\gamma^t z_t G_t^\gamma\right]$$
不能只给 reward_to_go 加上 γ,却不解释为何外面的 γ^t 不见了。另一种写法会把折扣放进状态采样分布,必须说明采用的是哪一种。折扣分布不匹配的研究讨论了这种差别。
💀 五、主要困难:采样梯度会波动
一条动作记录不等于可靠的因果评价。 同样的选择,可能遇到不同的后续状态、队友或环境随机性,最终回报差很多。
在上述假设下,普通 REINFORCE 是无偏估计:反复重采样后的平均梯度正确。有限的一批仍可能偏离很远;“无偏”不保证每次都走对,也不等于“方差一定大到不能用”。
三个相连的改进方向
① 只用未来回报:reward-to-go
第 t 步的动作无法改变 t 之前已经拿到的奖励。给定这一步之前的历史,动作按策略采样,而 z_t 的条件期望是 0。
因此,过去奖励乘 z_t 的期望为 0,去掉这些项不改变目标梯度。这通常能去掉无关的采样波动;不是说任何任务、任何分量的方差都必然严格下降。
② 减去状态基线:baseline
先用一个参考分 b(s_t) 评价“这次比平时好多少”,再把差值作为权重:
$$w_t=G_t-b(s_t)$$
$$\nabla_\theta J=\mathbb E\left[\sum_{t=0}^{T-1}z_t w_t\right]$$
考试得 80 分:若班级平均 60 分,差值是 +20;若平均 95 分,差值是 −15。这个比喻只解释“相对参考分”,不表示班均一定是最优基线。
不改变期望的条件:给定当前状态或历史,基线不能再依赖本次抽到的动作。对策略梯度分支,它还应作为停止梯度的权重处理。
把“状态基线”换成一个网络,并不自动满足全部条件。如果用同一条样本现算平均值,得到的基线可能间接依赖该样本的动作;无偏性需要另行核对。
算一个反例:差的基线会放大波动
仍是两个按钮,各有 50% 概率。为方便手算,这里用一个参数 θ 控制按钮 1 的概率 p=σ(θ),在 θ=0 处求梯度;这与代码的两个 logits 参数化不同。
按钮 0 的 z 是 −0.5,按钮 1 的 z 是 +0.5。一个样本的梯度估计是 z×(奖励−b)。
| 基线 b | 按钮 0 的样本估计 | 按钮 1 的样本估计 |
|---|---|---|
| 0 | −0.5 | 1 |
| 1.5 | 0.25 | 0.25 |
| 100 | 49.5 | −49 |
三个基线下的平均值都为 0.25,与这个参数化的真实梯度相同;但波动完全不同:
| 基线 b | 估计量的方差 |
|---|---|
| 0 | 0.5625 |
| 1.5 | 0 |
| 100 | 2425.5625 |
看最后一行:不改变平均值,不代表能降低方差。 用 V(s) 作基线往往有帮助,但是否有效取决于估计质量;V 也不是所有参数化下使梯度方差最小的基线。
③ 优势函数 A(s,a)
$$A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s)$$
Qπ 是“现在选这个动作,之后继续按 π 行动”的期望回报;Vπ 是“现在也按 π 选动作”的平均回报。它们的差回答:这个动作比当前策略的平均水平好多少?
真实 Aπ 是一个期望量。G_t − V(s_t) 是它的一种采样估计,不应直接说二者逐样本相等;用近似价值网络还可能引入估计误差。
第 10 章会用 Critic 估计价值,第 11 章的 PPO 会用优势估计安排更新。两章都不是把真实 A 自动算出来。
🆚 六、基于价值 vs 基于策略
下面比较普通 DQN 与本页 REINFORCE,不是给两大类算法贴永久标签。
| 问题 | 普通 DQN | 本页 REINFORCE |
|---|---|---|
| 直接训练什么 | 离散动作的 Q 值 | 随机策略的动作概率 |
| 动作怎样选 | 常用 ε-greedy 探索,评测时取贪心动作 | 从策略分布采样 |
| 连续动作 | 标准输出层不直接适用 | 可改用连续分布;还需选好参数化 |
| 数据怎样使用 | 配合经验回放与离策略学习 | 用当前策略采一批,再更新 |
| 常见难点 | 自举目标、过估计和函数逼近误差 | 采样波动、探索与学习效率 |
没有“PG 一定更稳定”“DQN 一定方差更小”的通用排序。策略梯度也有离策略路线,例如确定性策略梯度。
Actor-Critic 可用价值估计降低部分采样波动,PPO 可在受监控的更新中复用一批近期数据。它们缓解问题,不保证补齐所有短板或每次回报上涨。
🤖 七、和语言模型的关系(提前看一眼)
语言模型本来就输出“接下来选哪个 token”的分布,因此很自然地可以看作策略。 状态包含提示和已有文本,动作是下一个 token,整份回答可以在结束后获得评价。
词表有 5 万个 token,表示这一步有约 5 万种动作。模型的输出层通常本来就要计算整份词表 logits;不是策略梯度神奇地绕过了所有大词表计算。
在 PPO 式 RLHF 中,采样 token 的 log π 与优势估计结合,用来调整策略;还需要奖励、参考策略约束及更新监控,见第 12 章。
“RLHF 必须用策略梯度”说得太绝对。 如果更广义地说“从人类偏好学习”,还可使用第 13 章的 DPO,不必在线运行 PPO。这些路线的目标与数据要求不同。
🔗 八、和站内其他章的关系
| 想补哪块 | 去哪里看 |
|---|---|
| 状态、动作和随机策略的定义 | 第 2 章 · MDP |
| 本章拿来对照的离散 Q 网络 | 第 8 章 · DQN |
| 为什么取对数概率 | 数学原理 01 · 最大似然,形式相近,但这里的目标和权重不同 |
| 神经网络怎样计算参数梯度 | ML 基础 08 · 反向传播 |
| 语言模型的 logits 在这里是什么 | 策略网络输出,用 softmax 得到 token 概率;继续看第 12 章 |
✅ 检查点
- 直接学习策略的三个动机是什么?为什么不能说价值方法只能输出确定性策略?
- z_t 和回报权重各起什么作用?1 分的回报为什么未必代表好动作?
- 对数导数技巧省去了什么?还需要从环境取得什么?
- 代码为什么有负号、为什么停止回报权重的梯度?一步回合按自身均值居中会怎样?
- 无偏的采样梯度是否保证每次更新都改善策略?
- 奖励 [2,3] 的 reward-to-go 是什么?为什么过去奖励可以移出后续动作的权重?
- 基线保持期望不变有什么条件?b=100 的例子反驳了哪句话?
- Aπ=Qπ−Vπ 与 G_t−V(s_t) 是同一种量吗?下一章怎样使用它?
- 为什么策略梯度适合接入语言模型,却不是所有偏好学习的唯一方法?
👀 答案
- 连续动作不便枚举、希望直接表示随机性、有些任务的策略较容易建模。价值方法可以采用 ε-greedy 等随机探索;不等于只能确定性行动。
- z_t 给出调整已采样动作对数概率的方向,回报或优势给它权重。按钮 0 得 1 分虽为正,却低于按钮 1 的 2 分;概率总和仍为 1。
- 用 ∇p=p∇log p 改写梯度。环境机制不依赖 θ 时,不必显式知道 P 或对环境反传;仍需采样状态、动作和奖励。
- 负号把最大化转为最小化;回报在这次反传中是固定权重。一条一步回合减去自身均值后权重为 0,默认样本标准差还可能产生 NaN。
- 不保证。无偏描述重复重采样后的平均估计,有限批次可能走错方向,步长和参数化也影响结果。
- [5,3]。给定之前的历史,当前动作的 z_t 条件期望为 0;乘已发生的奖励仍平均为 0,删除这些项不改变梯度期望。
- 给定状态或历史后,基线不依赖本次抽到的动作,并在策略分支停止梯度。b=100 的平均梯度仍是 0.25,方差却很大,反驳“任意基线都降方差”。
- 前者是真实期望量,后者是采样估计;价值网络误差也要考虑。第 10 章用 Critic 的价值估计构造优势信号。
- token 分布和 logprob 已经存在,便于接策略梯度;但 PPO 式 RLHF 仍有额外机制,从偏好学习还可走 DPO 等路线。
本节回顾
⚡ 走神救援
先记住这几件事
- 直接调动作概率;一次样本的好坏,不等于策略的真实平均成绩。
- reward-to-go 只算未来;合适的基线有帮助,差的基线也会放大波动。
- 真实优势是期望之差,训练中用的是估计;先核对符号、采样和回合边界。
下一节 👉 10-Actor-Critic.md