10 · Actor-Critic
⏱ 26 分钟 | ⭐ 把前两章的优点合起来
时间是起步参考,不是读完期限。先看一次“比预期好多少”,再按需看基线证明、GAE 和完整小实验。
🎯 一句话
Actor 负责选动作,Critic 负责估计未来回报;把估计变成“比预期好多少”,再帮助 Actor 更新。
例如当前状态预计还能得 2 分。这一步实际得到 1 分,下一状态预计还能得 3 分。先不折扣未来:新的估计是 1+3=4 分,比原来的 2 分高 2 分。
这个 +2 是一次估计信号,不是已经拿到了 4 分,也不是证明这个动作永远好。Critic 的预测和这一次的运气都可能影响它。
本章沿着三个问题读:两个角色怎么合作、这个信号怎么算、代码里怎样避免算错。
🎭 一、两个角色
Actor 输出策略。 离散动作时,它可以输出“向左 40%、向右 60%”;连续动作时,可以输出一个概率分布的参数,再从分布里采样动作。
Critic 输出价值估计。 本章主要用 $V_w(s)$,估计从状态 s 出发、继续遵循当前策略的后续回报。另一些方法学习 $Q_w(s,a)$,把“当前先选哪个动作”也作为输入。
两个角色可以是独立网络,也可以共享前面的特征提取层、各有一个输出头。“两个角色”不等于必须复制两份完整网络。
它们的合作顺序是:
- Actor 在当前状态选动作,环境返回奖励与下一状态。
- Critic 把奖励和下一状态的预测合在一起,形成更新目标。
- Actor 根据相对预期的好坏调整策略;Critic 则让自己的预测更接近目标。
读结构图时,留意奖励来自环境,价值来自估计。Critic 不是另一个知道标准答案的裁判。
第 8 章的 DQN 也学价值,但通常通过比较有限个动作的 Q 值来选动作;第 9 章直接学习策略。本章把策略学习与价值估计接起来。不是“所有价值方法都不能处理连续动作”。
📉 二、它到底改了什么
先说清楚回报从哪里开始算
本页主线与第 9 章一致:有限回合、$\gamma=1$,目标是最大化每回合总奖励的期望。记 $r_t$ 为执行动作 $a_t$ 后得到的奖励,T 为回合结束时刻。
$$G_t=\sum_{k=t}^{T-1}r_k$$
Gₜ 只加从这一步起的后续奖励,叫 reward-to-go。 它不含这一步之前已经发生的奖励,也不等于整条轨迹共用的一个分数。
| 动作所在时刻 | 这一步奖励 | 从这里起的 Gₜ |
|---|---|---|
| t=0 | 2 | 2+0+3=5 |
| t=1 | 0 | 0+3=3 |
| t=2 | 3 | 3 |
例如第二步不能把第一步已经拿到的 2 分算成自己的后果。完整回报版本的 REINFORCE 通常要等未来奖励采完;后面的随机事件会让回报起伏,但“不看过去奖励”已经去掉了一部分无关噪声。
保留更新方向,换一个权重
先沿用第9章的短记号,把“当前动作 log 概率的梯度”记作 z:
$$z_t=\nabla_\theta\log\pi_\theta(a_t\mid s_t)$$
在上述目标与按当前策略采样的条件下,reward-to-go 形式是:
$$\nabla_\theta J=\mathbb{E}\left[\sum_{t=0}^{T-1}z_t G_t\right]$$
先只看右边两部分:log 概率的梯度告诉参数往哪动;Gₜ 决定这条样本给多大权重。 外层期望表示平均考虑当前策略可能采到的轨迹。
理论上,权重也可以使用真实优势 $A^\pi(s_t,a_t)$。实践中不知道真优势,只能用 $\hat A_t$ 估计它;因此实际算出来的是梯度估计,不能把它无条件写成真实梯度的等式。
Spinning Up 的策略优化推导给出回报、Q、优势等权重形式,并区分期望关系与有限采样的更新。
一步 TD:把未知未来暂时交给 Critic
$$\delta_t=r_t+\gamma(1-d_t)V_w(s_{t+1})-V_w(s_t)$$
本式读法:当前奖励 + 仍可继续时的未来估计 − 原先估计。
- $r_t$:这一步已经收到的奖励。
- $V_w(s_{t+1})$:下一状态起还能得多少的预测,不是实收奖励。
- $d_t$:真正终止时为 1,否则为 0;真正结束后没有后续回报,故去掉这一项。
- $\gamma$:未来的折扣系数。本章主线与实验取 1;取小于 1 时,价值和回报也要采用同一折扣定义。
开头例子没有终止,$\gamma=1$:$1+3-2=2$。如果这一步已经真正终止,则是 $1-2=-1$,不能再加那个“下一状态 3 分”。
把 $\delta_t$ 当作 $\hat A_t$,叫一步优势估计。正值推动这条样本朝增加已采动作概率的方向;负值方向相反。 多条样本、共享参数、熵项和优化器会共同决定最终变化,不保证每条样本的概率都按自己的符号改变。
当 Critic 恰好等于当前策略的真价值时,给定状态、动作,对下一状态和奖励取期望,TD 误差等于真优势。Critic 不准确时通常会有估计偏差;一次 δ 也不等于动作的真实长期优势。GAE 原论文第 3 节
这次替换的收益与代价:
- 一步奖励到手后就可以构造 TD 目标,不必等整个回合结束;实现也可以攒一批再更新。
- 用预测替代部分随机未来,常常能降低噪声,但不是每个任务都保证降方差。
- Actor 仍可用离散或连续动作分布;需要选对分布和算法,并非直接把 DQN 的输出层换一下即可。
- 代价是信任 Critic 的预测。预测误差会影响更新方向,因此要同时检查策略表现和价值误差。
如果 γ 小于 1:回报折扣与策略梯度的时间权重怎样一致
若目标明确是 $J_\gamma=\mathbb{E}[\sum_{t=0}^{T-1}\gamma^t r_t]$,先定义从 t 起算的折扣回报:
$$G_t^\gamma=\sum_{k=t}^{T-1}\gamma^{k-t}r_k$$
按完整回合求和时,对应的梯度是:
$$\nabla_\theta J_\gamma=\mathbb{E}\left[\sum_{t=0}^{T-1}\gamma^t z_t G_t^\gamma\right]$$
这里有两个起点不同的折扣:G 内部的 $\gamma^{k-t}$ 从当前时刻算;外面的 $\gamma^t$ 从回合开头算。若改用带折扣的状态访问分布,后一个权重也可能被吸收到采样分布里,需要说明约定。
直接删去外面的 $\gamma^t$,再宣称仍是这个初始状态折扣目标的精确梯度,是不严谨的。GAE 原论文还讨论了把 γ 当作未折扣任务中的方差调节参数,那是另一种近似约定。GAE 原论文第 2 节
有限时长如果本来就是任务定义的一部分,应让状态包含必要的剩余时间信息,或明确使用随时间变化的价值函数。本页两步环境用状态 0、1 区分两个阶段。
⭐ 三、优势函数与基线
1001 分和 999 分,怎样看出差别
Q 的绝对值有含义:它是在给定奖励尺度下的期望后续回报。 但训练策略时,常常更想知道“这个动作比当前策略的平均水平好多少”。
假设两个动作各以 50% 被选择,真 Q 值分别为 1001 与 999。当前策略的平均价值是:
$$V^\pi(s)=0.5\times1001+0.5\times999=1000$$
$$A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s)$$
于是两个动作的优势分别为 +1、−1。减掉 1000 不是抹掉收益,而是换成相对当前策略的比较。
原来两个 Q 都是正值,并不意味着两个动作的概率会同时升高:概率总和必须为 1,softmax 参数之间有联动。直接用真实 Q 作策略梯度权重在理论上有效;基线主要帮助减少无关的公共量带来的采样波动。
减基线不改期望,不等于随便减都更稳
下面沿用这两个动作,只考察控制第一个动作概率的一个 logit。在当前各 50% 时,采到第一个/第二个动作的 log 概率梯度分别是 +0.5、−0.5。
| 基线 b | 两种等可能的梯度样本 |
|---|---|
| 0,不减基线 | 500.5 / −499.5 |
| 1000,匹配本例平均值 | 0.5 / 0.5 |
| 3000,偏得很远 | −999.5 / 1000.5 |
上表每行两个数的平均值都为 0.5。接着只比它们围绕平均值的波动:
| 基线 b | 梯度样本的方差 |
|---|---|
| 0 | 250000 |
| 1000 | 0 |
| 3000 | 1000000 |
三个基线的期望相同,坏基线却让方差更大。 这里的数字是本页两动作例子的精确计算,不是某个大型训练实验的结果。
为什么状态基线不改期望:三步等式与适用条件
固定状态 s,在当前动作采样之前确定 $b(s)$;假设策略可微,允许交换求和与求导。对离散动作:
$$\mathbb{E}_{a\sim\pi_\theta}[b(s)z]=b(s)\sum_a\nabla_\theta\pi_\theta(a\mid s)$$
这里 z 是当前状态、动作对应的 log 概率梯度。把后半部分单独看:
$$\sum_a\nabla_\theta\pi_\theta(a\mid s)=\nabla_\theta\sum_a\pi_\theta(a\mid s)$$
所有动作概率之和为1,所以剩下 $b(s)\nabla_\theta 1=0$。这就是基线项在期望中消失的原因。
连续动作对应积分,也需要相应的可微与积分交换条件。关键是基线不能暗中依赖这次采到的动作,且在策略损失里当作固定权重,不对基线求导。
V 网络可以随训练更新;上述论证是针对这次更新所固定的基线函数。如果先用同一条样本的动作/奖励拟合基线,再把它当作与该动作无关,条件就需要重新检查;不能只因为代码写作 b(s) 就宣布无偏。
接近 $V^\pi(s)$ 的基线常常有效,但最低方差基线还取决于梯度大小,并非在所有参数化下都恰好等于 V。不改期望与降低方差是两个不同的结论。基线的期望论证
GAE:在偏差和方差之间调一个旋钮
GAE 把这一刻以及后面几步的 TD 误差加起来。 当 γλ 小于 1 时,越远的权重越小;等于 1 时权重相同。γ 约定未来奖励的折扣;λ 决定这次优势估计纳入多少后续 TD 误差信息,两者不是同一个参数。
在一个没有跨回合重置的片段里,离片段末端还有 L 步时:
$$\hat A_t^{\rm GAE}=\sum_{l=0}^{L-1}(\gamma\lambda)^l\delta_{t+l}$$
先看一个能手算的两步片段:奖励为 1、2,价值预测为 0.5、1,第二步后真正终止;取 γ=1。两个 TD 误差是 $1+1-0.5=1.5$、$2-1=1$。
| λ | 第一步优势估计 | 这里多看了什么 |
|---|---|---|
| 0 | 1.5 | 只看当前 TD |
| 0.5 | 1.5+0.5×1=2 | 加一半后续 TD |
| 0.95 | 2.45 | 纳入更多后续 TD |
| 1 | 2.5 | 完整回报 3 减当前预测 0.5 |
看下面的加权对照:每行保留相同的当前 TD,只改变加回来的后续 TD。条形长度对应算出的优势,不是算法性能或方差。
λ=1 时不是“优势就等于回报”。 完整、真正终止的回合上,各步中间 V 项抵消,剩下 $G_t^\gamma-V_w(s_t)$。若 V 不准,它不一定是条件无偏的真优势估计;但在前述固定状态基线条件下,减去 V 不改变回报式策略梯度的期望。
λ=0 只用一步 TD,较依赖 Critic;λ 接近 1 时较多依赖采到的未来奖励。常见实现把 0.95 作为起点,并非通用最优值;“λ 越大方差必然越大、偏差必然越小”也不是任意任务的逐点定律。GAE 的定义与端点条件
最容易漏掉的条件:到底在哪里结束
真正终止、外部截断、采样批次结束,不是同一件事。
| 当前片段为何结束 | 最后一步 TD 是否自举 | 后续 TD 误差如何接 |
|---|---|---|
| 任务真正终止 | 不加下一状态价值 | 到此停止,不接重置后的回合 |
| 外部时间限制造成截断,任务本来还可继续 | 加截断前最后观测的价值 | 到此停止,不接重置后的回合 |
| rollout 收集够一批,任务仍继续 | 加这批末尾下一观测的价值 | 本批计算到此停止;未来未采到的 δ 不凭空补出 |
有自动重置的环境,下一次读到的观测可能已经是新回合初始状态。外部截断所需的是结束前的最后观测,不要拿重置观测去自举。Gymnasium 的时间限制说明
若 λ=1 但片段在任务尚未结束时截断,结果仍有尾项:
$$\hat A_t=\sum_{l=0}^{L-1}\gamma^l r_{t+l}+\gamma^L V_w(s_{t+L})-V_w(s_t)$$
这不是完整蒙特卡洛回报减基线;最后那个 V 的误差仍会影响估计。例如只采到开头例子的一步,就仍是 $1+3-2=2$,不能假装已观察完未来。
实际程序通常从后向前递推:
$$\hat A_t=\delta_t+\gamma\lambda c_t\hat A_{t+1}$$
cₜ 控制是否继续累加后续 δ;dₜ 控制是否加下一状态价值。 回合终止或外部截断后 c=0;本批末尾也不再有后续项。外部截断可以同时满足 d=0、c=0:保留未来预测,但切断新回合的误差串。
这就是第 5 章 TD(λ)的多步思想用在优势估计上。完整 GAE 循环及边界实现见第 11 章的 PPO 小实验;GAE 常与 PPO 配合,但不是 PPO 唯一允许的估计器。
🔨 四、最小实现
下面完整执行一批采样与一次 Actor–Critic 更新,不需要补任何未定义变量。 它是教学小实验,不是完整游戏训练,也不宣称比较了算法性能。
环境固定走两步:状态 0 → 状态 1 → 终止。每步选 0 或 1;动作等于当前状态就奖 1,否则奖 0。最开始每个动作概率都是 50%,Critic 预测为 0.5。
我们采 32 个回合,再用一步 TD 优势做一次更新。依赖 PyTorch,全部在 CPU 上运行,无需下载环境或模型;代码采用 γ=1,与本章总奖励目标一致。
运行完整小实验:采样、TD、两个损失、更新与断言
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.distributions import Categorical
torch.manual_seed(7)
torch.set_num_threads(1)
gamma = 1.0
observations = torch.eye(3) # 状态0、状态1、终止占位状态2
actor = nn.Linear(3, 2, bias=False)
critic = nn.Linear(3, 1, bias=False)
with torch.no_grad():
actor.weight.zero_()
critic.weight.fill_(0.5)
optimizer = torch.optim.SGD(
list(actor.parameters()) + list(critic.parameters()), lr=0.2
)
def td_targets(rewards, next_values, terminated, discount):
with torch.no_grad():
return rewards + discount * (~terminated).float() * next_values
# 只在当前冻结参数下采样;一批中不偷偷更新策略。
states, actions, rewards, next_states, terminals = [], [], [], [], []
with torch.no_grad():
for _ in range(32):
for state in (0, 1):
action = Categorical(logits=actor(observations[state])).sample()
states.append(state)
actions.append(action.item())
rewards.append(float(action.item() == state))
next_states.append(state + 1)
terminals.append(state == 1)
states = torch.tensor(states)
actions = torch.tensor(actions)
rewards = torch.tensor(rewards)
next_states = torch.tensor(next_states)
terminated = torch.tensor(terminals, dtype=torch.bool)
values = critic(observations[states]).squeeze(-1)
next_values = critic(observations[next_states]).squeeze(-1)
targets = td_targets(rewards, next_values, terminated, gamma)
advantages = (targets - values).detach()
dist = Categorical(logits=actor(observations[states]))
actor_loss = -(dist.log_prob(actions) * advantages).mean()
critic_loss = F.mse_loss(values, targets)
entropy = dist.entropy().mean() # 当前策略分布的熵
loss = actor_loss + 0.5 * critic_loss - 0.01 * entropy
with torch.no_grad():
before = actor(observations[:2]).softmax(-1).diagonal().clone()
error_before = critic_loss.item()
optimizer.zero_grad()
loss.backward()
assert not targets.requires_grad and not advantages.requires_grad
assert torch.isfinite(actor.weight.grad).all()
assert torch.isfinite(critic.weight.grad).all()
optimizer.step()
with torch.no_grad():
after = actor(observations[:2]).softmax(-1).diagonal()
error_after = F.mse_loss(
critic(observations[states]).squeeze(-1), targets
).item()
# 同一个奖励1、下一状态预测3:终止不自举,外部截断仍自举。
edge = td_targets(torch.tensor([1.0, 1.0]), torch.tensor([3.0, 3.0]),
torch.tensor([True, False]), gamma)
assert torch.equal(edge, torch.tensor([1.0, 4.0]))
assert (after > before).all() # 仅核对本例这批样本的一次更新
assert error_after < error_before
print("transitions:", len(states))
print("correct-action probability:", before.tolist(), "->", after.tolist())
print("critic MSE against frozen targets:", error_before, "->", error_after)
print("terminal / truncated target:", edge.tolist())
读代码时先找这三个连接:
td_targets:奖励连接下一状态的预测,但真正终止时只剩奖励。函数用no_grad()固定目标,不沿目标端反传。advantages = (targets - values).detach():Actor 把估计优势当作权重;Critic 的训练由自己的预测误差负责。这样不会为了减小策略损失而直接改写权重本身。optimizer.step()前后:概率检查的是两个状态各自正确动作的概率;Critic 检查的是对同一批冻结目标的误差,不是对真价值误差的保证。
本次 CPU 实跑得到 64 条状态转移。固定种子下的结果是:
| 观察什么 | 更新前 | 更新后 |
|---|---|---|
| 状态0选对的概率 | 0.5000 | 0.5164 |
| 状态1选对的概率 | 0.5000 | 0.5125 |
| Critic 对冻结目标的 MSE | 0.4531 | 0.4114 |
终止/外部截断的目标断言分别得到 1、4。代码按64条转移取平均;这里每回合固定两步,相比按32个回合求平均只多一个固定的1/2缩放,不会改变梯度方向。改变环境长度后不能不加说明地沿用这个解释。
一次更新朝正确方向,不等于网络已经学会任务;完整训练还要继续重新采样、更新、独立评估。不要把反复拟合同一批旧动作当成无条件成立的 on-policy 学习。
原来的三个实现提醒,应该怎样理解
第一处:梯度边界。 目标和优势在这次更新里应固定。不 detach 会多出“通过 Critic 改变目标/权重”的梯度,偏离这里要实现的更新;不等于每个程序都会立刻崩溃。共享骨干时,Actor 与 Critic 仍可通过各自的合法损失训练共享特征。
第二处:损失量级。 0.5 是本例价值损失系数,不是必选常数。奖励尺度、价值误差、网络是否共享都会影响平衡;应该看实际梯度和评估回报,而不只看两个 loss 数字谁更大。
第三处:探索。 本例加了 −0.01×熵,最小化总损失时会鼓励保持随机性。但熵奖励不是所有 Actor–Critic 的必需条件;没有它不代表探索必然“死掉”,有它也不保证探索充分。若把熵作为长期优化目标的一部分,目标本身会改变。
🧬 五、主要变体
Actor–Critic 是一类分工方式,不是一套固定的采样规则。 下面这些名称不能只按“更稳”“更新”排成排行榜。
| 方法 | 主要区别 | 读的时候保留的条件 |
|---|---|---|
| A2C | 多个环境收集一批数据后同步更新 | 并行有助于分散连续轨迹的相关性,不保证得到独立样本 |
| A3C | 多个工作线程异步采样与更新 | 会涉及参数延迟;A2C 是同步替代方案,不是所有场景都已取代 A3C |
| PPO | 用概率比、裁剪或 KL 机制控制代理目标更新 | 裁剪不是策略变化的硬限位,见第 11 章 |
| DDPG / TD3 | 确定性策略、off-policy,典型用途是连续控制 | 常用回放池;TD3 用双 Q、延迟策略更新等应对函数近似误差 |
| SAC | 随机策略、off-policy,最大熵目标 | 常用于连续控制;性能依赖任务、奖励、实现与调参,不能称“总是最稳” |
A3C 的异步设计来自原论文;A2C 的同步实现及具体实验对照见OpenAI Baselines 说明。这些来源支持设计与实验范围,不支持“所有任务同步一定更优”。
DDPG 原论文说明确定性 Actor–Critic 的连续控制方案;TD3 原论文针对 Actor–Critic 的函数近似误差提出改进。它们不是直接把随机动作的 log 概率公式照搬过去。
SAC 值得记住的是目标不同:它同时考虑回报与策略熵。 SAC 原论文报告了所测连续控制任务上的结果,不构成对所有任务的稳定性排名;探索仍需实际评估。
🧭 六、三条路线的对比(这一章的总结)
比较具体算法和条件,不把整个家族贴成“低、中、高”。
| 比较项 | DQN 这一类价值方法 | 完整回报 REINFORCE | Actor–Critic 家族 |
|---|---|---|---|
| 主要学什么 | Q 值,再据此选动作 | 显式策略;也可额外学状态基线 | 策略 + 价值估计,可共享特征 |
| 连续动作 | 标准 DQN 的离散枚举不直接适用 | 可使用合适的连续动作分布 | 有离散/连续版本,需选匹配算法 |
| 偏差与方差 | TD 自举和函数近似可能引入误差 | 完整当前策略轨迹下,回报式梯度估计可无偏;常有较大噪声 | 取决于优势估计与价值误差,不固定为“中等” |
| 何时更新 | 常边采样边从回放池更新 | 完整回报通常等回合结束,再做批次更新 | 一步 TD 可及时更新,也可攒多步/多个环境 |
| 样本使用 | off-policy,通常可回放旧经验 | 基本形式使用当前策略数据 | A2C/PPO 常用近策略数据;DDPG/TD3/SAC 可回放 |
回放可以减少昂贵的环境交互,但增加计算或更新次数也有成本;样本效率不能从“价值/策略/Actor–Critic”三个名称直接排出高低。
一句话概括:价值方法帮助估计后果,策略方法直接学习行动分布;Actor–Critic 让两种工作协作。自举式优势常在偏差与方差之间折中,但不是无条件用“有偏低方差”换“无偏高方差”。
🔗 和站内其他章的关系
| 需要接上的知识 | 从哪里继续 |
|---|---|
| MC、TD 与多步估计 | 第 5 章;理解 GAE 为什么保留或舍弃尾部 |
| Actor 的 log 概率更新 | 第 9 章;区分样本权重与真实优化目标 |
| Q 网络如何学习 | 第 8 章;本章 V-Critic 不做 DQN 的 max 目标 |
| 策略怎样探索 | 第 7 章;熵是一种手段,不是唯一手段 |
| 偏差与方差的基本概念 | ML 基础第 5 章;本章比较的是估计与更新的误差来源 |
✅ 检查点
- Actor 和 Critic 各负责什么?必须是两份独立网络吗?
- Gₜ 从哪里开始算?Actor–Critic 怎样改变策略更新中的样本权重?
- TD 误差 δ 的人话含义是什么?真正终止时哪一项消失?
- 一步优势估计带来哪三个可能的收益?为什么还要检查 Critic 的误差?
- 1001 与 999 的例子为什么减去 1000?两个动作概率能同时升高吗?
- 状态基线不改期望需要什么条件?它一定降低方差吗?
- GAE 的 λ 在调什么?λ=1 什么时候是 G−V,什么时候还带尾部自举项?
- 梯度边界、损失尺度和探索这三处,实现时分别应该检查什么?
- 怎样概括三条路线的关系,又不把样本效率与稳定性排成固定高低?
👀 答案
-
Actor 给动作策略,Critic 给状态或动作的价值估计。它们可以独立,也可以共享特征层;Critic 不知道真实未来。
-
Gₜ 从动作 t 起加后续奖励,不含已经过去的奖励。Actor–Critic 常用 Critic 构造的优势估计作为更新权重;估计不一定等于真优势。
-
δ 是“当前奖励 + 可继续时的未来预测 − 原先预测”。真正终止时不加下一状态价值;外部截断本来还可继续时则需要自举。
-
可在一步后构造目标、常能减少未来随机性带来的噪声,并保留适配不同动作分布的能力。预测误差可能让估计有偏;收益大小不是通用保证。
-
1000 是本例当前策略的平均回报,减后得到 +1、−1,突出相对好坏。Q 的绝对值仍有意义;概率归一化使两个动作不可能同时增加。
-
基线需在当前动作采样条件下与该动作无关,并在策略更新时固定;还需通常的可微条件。期望中的基线梯度项为 0,但坏基线会增加方差。
-
λ 控制混合多少后续 TD 误差;0.95 是常见起点,不是定律。完整真正终止回合、λ=1 时为 G−V;截断片段仍有末尾 V 的折扣项。
-
固定 TD 目标与优势的梯度路径;结合奖励尺度和共享参数检查损失/梯度;检查探索是否充分,不把系数0.5、熵系数0.01当必选常数。
-
价值方法学后果,策略方法学行动,Actor–Critic 让两者合作。是否回放、是否自举以及具体任务决定样本利用与误差,不能按家族名称固定排名。
本节回顾
先记住这几件事
- Actor 选动作,Critic 估未来;估计不是已经拿到的奖励。
- 优势比较当前预期;减基线不改期望,但坏基线会加大噪声。
- GAE 的结束边界要分清:真正终止不自举,外部截断不接新回合。
- 目标与优势先固定,再分别训练策略和价值;用真实评估检查效果。
11 · PPO 介绍怎样利用一批优势估计更新策略,同时控制更新幅度。