🏠 总目录📚 本教程 10 · Actor-Critic ← →

强化学习基础 · 10 · 原章导读

Actor 更新策略时,Critic 提供的究竟是什么信号?

Critic 估价值,Actor 依信号调整策略;TD 误差、优势与基线各有作用。GAE 的旋钮及回合结束边界决定估计如何使用。

读后可检查:能顺着旧图、方程和最小实现解释更新权重,并指出终止与截断不能随意混同。

📑 本页目录(点开跳转)

10 · Actor-Critic

⏱ 26 分钟 | ⭐ 把前两章的优点合起来

时间是起步参考,不是读完期限。先看一次“比预期好多少”,再按需看基线证明、GAE 和完整小实验。

🎯 一句话

Actor 负责选动作,Critic 负责估计未来回报;把估计变成“比预期好多少”,再帮助 Actor 更新。

例如当前状态预计还能得 2 分。这一步实际得到 1 分,下一状态预计还能得 3 分。先不折扣未来:新的估计是 1+3=4 分,比原来的 2 分高 2 分。

这个 +2 是一次估计信号,不是已经拿到了 4 分,也不是证明这个动作永远好。Critic 的预测和这一次的运气都可能影响它。

本章沿着三个问题读:两个角色怎么合作、这个信号怎么算、代码里怎样避免算错。

🎭 一、两个角色

Actor 输出策略。 离散动作时,它可以输出“向左 40%、向右 60%”;连续动作时,可以输出一个概率分布的参数,再从分布里采样动作。

Critic 输出价值估计。 本章主要用 $V_w(s)$,估计从状态 s 出发、继续遵循当前策略的后续回报。另一些方法学习 $Q_w(s,a)$,把“当前先选哪个动作”也作为输入。

两个角色可以是独立网络,也可以共享前面的特征提取层、各有一个输出头。“两个角色”不等于必须复制两份完整网络。

它们的合作顺序是:

  1. Actor 在当前状态选动作,环境返回奖励与下一状态。
  2. Critic 把奖励和下一状态的预测合在一起,形成更新目标。
  3. Actor 根据相对预期的好坏调整策略;Critic 则让自己的预测更接近目标。

读结构图时,留意奖励来自环境,价值来自估计。Critic 不是另一个知道标准答案的裁判。

Actor 选动作;Critic 估未来;环境给实际奖励当前状态 sActor:策略 π(a|s)从策略分布采样动作 a环境执行动作返回奖励 r、下一状态 s′动作 a保存本次转移:s、a、r、s′、真正终止标志 ds′ 使用本次结束前的观测,不拿重置后的新回合来替换Critic:同一个价值函数计算 V(s) 与 V(s′)它们都是预测,不是实收奖励输入 s、s′固定 TD 目标 y = r + γ(1−d)V(s′)估计优势 δ = y − V(s)真正终止 d=1 时,去掉未来预测r、dδ:固定权重y:固定目标Actor 更新用当前策略的 log π(a|s) × δδ 不向 Critic 反传梯度Critic 更新当前预测 V(s) 向固定 y 拟合通过预测端训练价值参数图示是一次更新的信息关系,不是两个模型互相提供真实答案
环境提供奖励与下一观测,Critic 提供价值预测;目标 y 与估计优势 δ 进入两个不同的更新分支。δ 不是已知真优势,也不要求两份独立完整网络。

第 8 章的 DQN 也学价值,但通常通过比较有限个动作的 Q 值来选动作;第 9 章直接学习策略。本章把策略学习与价值估计接起来。不是“所有价值方法都不能处理连续动作”。

📉 二、它到底改了什么

先说清楚回报从哪里开始算

本页主线与第 9 章一致:有限回合、$\gamma=1$,目标是最大化每回合总奖励的期望。记 $r_t$ 为执行动作 $a_t$ 后得到的奖励,T 为回合结束时刻。

$$G_t=\sum_{k=t}^{T-1}r_k$$

Gₜ 只加从这一步起的后续奖励,叫 reward-to-go。 它不含这一步之前已经发生的奖励,也不等于整条轨迹共用的一个分数。

动作所在时刻这一步奖励从这里起的 Gₜ
t=022+0+3=5
t=100+3=3
t=233

例如第二步不能把第一步已经拿到的 2 分算成自己的后果。完整回报版本的 REINFORCE 通常要等未来奖励采完;后面的随机事件会让回报起伏,但“不看过去奖励”已经去掉了一部分无关噪声。

保留更新方向,换一个权重

先沿用第9章的短记号,把“当前动作 log 概率的梯度”记作 z:

$$z_t=\nabla_\theta\log\pi_\theta(a_t\mid s_t)$$

在上述目标与按当前策略采样的条件下,reward-to-go 形式是:

$$\nabla_\theta J=\mathbb{E}\left[\sum_{t=0}^{T-1}z_t G_t\right]$$

先只看右边两部分:log 概率的梯度告诉参数往哪动;Gₜ 决定这条样本给多大权重。 外层期望表示平均考虑当前策略可能采到的轨迹。

理论上,权重也可以使用真实优势 $A^\pi(s_t,a_t)$。实践中不知道真优势,只能用 $\hat A_t$ 估计它;因此实际算出来的是梯度估计,不能把它无条件写成真实梯度的等式。

Spinning Up 的策略优化推导给出回报、Q、优势等权重形式,并区分期望关系与有限采样的更新。

一步 TD:把未知未来暂时交给 Critic

$$\delta_t=r_t+\gamma(1-d_t)V_w(s_{t+1})-V_w(s_t)$$

本式读法:当前奖励 + 仍可继续时的未来估计 − 原先估计。

  • $r_t$:这一步已经收到的奖励。
  • $V_w(s_{t+1})$:下一状态起还能得多少的预测,不是实收奖励。
  • $d_t$:真正终止时为 1,否则为 0;真正结束后没有后续回报,故去掉这一项。
  • $\gamma$:未来的折扣系数。本章主线与实验取 1;取小于 1 时,价值和回报也要采用同一折扣定义。

开头例子没有终止,$\gamma=1$:$1+3-2=2$。如果这一步已经真正终止,则是 $1-2=-1$,不能再加那个“下一状态 3 分”。

把 $\delta_t$ 当作 $\hat A_t$,叫一步优势估计。正值推动这条样本朝增加已采动作概率的方向;负值方向相反。 多条样本、共享参数、熵项和优化器会共同决定最终变化,不保证每条样本的概率都按自己的符号改变。

当 Critic 恰好等于当前策略的真价值时,给定状态、动作,对下一状态和奖励取期望,TD 误差等于真优势。Critic 不准确时通常会有估计偏差;一次 δ 也不等于动作的真实长期优势。GAE 原论文第 3 节

这次替换的收益与代价:

  • 一步奖励到手后就可以构造 TD 目标,不必等整个回合结束;实现也可以攒一批再更新。
  • 用预测替代部分随机未来,常常能降低噪声,但不是每个任务都保证降方差。
  • Actor 仍可用离散或连续动作分布;需要选对分布和算法,并非直接把 DQN 的输出层换一下即可。
  • 代价是信任 Critic 的预测。预测误差会影响更新方向,因此要同时检查策略表现和价值误差。
如果 γ 小于 1:回报折扣与策略梯度的时间权重怎样一致

若目标明确是 $J_\gamma=\mathbb{E}[\sum_{t=0}^{T-1}\gamma^t r_t]$,先定义从 t 起算的折扣回报:

$$G_t^\gamma=\sum_{k=t}^{T-1}\gamma^{k-t}r_k$$

按完整回合求和时,对应的梯度是:

$$\nabla_\theta J_\gamma=\mathbb{E}\left[\sum_{t=0}^{T-1}\gamma^t z_t G_t^\gamma\right]$$

这里有两个起点不同的折扣:G 内部的 $\gamma^{k-t}$ 从当前时刻算;外面的 $\gamma^t$ 从回合开头算。若改用带折扣的状态访问分布,后一个权重也可能被吸收到采样分布里,需要说明约定。

直接删去外面的 $\gamma^t$,再宣称仍是这个初始状态折扣目标的精确梯度,是不严谨的。GAE 原论文还讨论了把 γ 当作未折扣任务中的方差调节参数,那是另一种近似约定。GAE 原论文第 2 节

有限时长如果本来就是任务定义的一部分,应让状态包含必要的剩余时间信息,或明确使用随时间变化的价值函数。本页两步环境用状态 0、1 区分两个阶段。

⭐ 三、优势函数与基线

1001 分和 999 分,怎样看出差别

Q 的绝对值有含义:它是在给定奖励尺度下的期望后续回报。 但训练策略时,常常更想知道“这个动作比当前策略的平均水平好多少”。

假设两个动作各以 50% 被选择,真 Q 值分别为 1001 与 999。当前策略的平均价值是:

$$V^\pi(s)=0.5\times1001+0.5\times999=1000$$

$$A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s)$$

于是两个动作的优势分别为 +1、−1。减掉 1000 不是抹掉收益,而是换成相对当前策略的比较。

原来两个 Q 都是正值,并不意味着两个动作的概率会同时升高:概率总和必须为 1,softmax 参数之间有联动。直接用真实 Q 作策略梯度权重在理论上有效;基线主要帮助减少无关的公共量带来的采样波动。

减基线不改期望,不等于随便减都更稳

下面沿用这两个动作,只考察控制第一个动作概率的一个 logit。在当前各 50% 时,采到第一个/第二个动作的 log 概率梯度分别是 +0.5、−0.5。

基线 b两种等可能的梯度样本
0,不减基线500.5 / −499.5
1000,匹配本例平均值0.5 / 0.5
3000,偏得很远−999.5 / 1000.5

上表每行两个数的平均值都为 0.5。接着只比它们围绕平均值的波动:

基线 b梯度样本的方差
0250000
10000
30001000000

三个基线的期望相同,坏基线却让方差更大。 这里的数字是本页两动作例子的精确计算,不是某个大型训练实验的结果。

为什么状态基线不改期望:三步等式与适用条件

固定状态 s,在当前动作采样之前确定 $b(s)$;假设策略可微,允许交换求和与求导。对离散动作:

$$\mathbb{E}_{a\sim\pi_\theta}[b(s)z]=b(s)\sum_a\nabla_\theta\pi_\theta(a\mid s)$$

这里 z 是当前状态、动作对应的 log 概率梯度。把后半部分单独看:

$$\sum_a\nabla_\theta\pi_\theta(a\mid s)=\nabla_\theta\sum_a\pi_\theta(a\mid s)$$

所有动作概率之和为1,所以剩下 $b(s)\nabla_\theta 1=0$。这就是基线项在期望中消失的原因。

连续动作对应积分,也需要相应的可微与积分交换条件。关键是基线不能暗中依赖这次采到的动作,且在策略损失里当作固定权重,不对基线求导。

V 网络可以随训练更新;上述论证是针对这次更新所固定的基线函数。如果先用同一条样本的动作/奖励拟合基线,再把它当作与该动作无关,条件就需要重新检查;不能只因为代码写作 b(s) 就宣布无偏。

接近 $V^\pi(s)$ 的基线常常有效,但最低方差基线还取决于梯度大小,并非在所有参数化下都恰好等于 V。不改期望与降低方差是两个不同的结论。基线的期望论证

GAE:在偏差和方差之间调一个旋钮

GAE 把这一刻以及后面几步的 TD 误差加起来。 当 γλ 小于 1 时,越远的权重越小;等于 1 时权重相同。γ 约定未来奖励的折扣;λ 决定这次优势估计纳入多少后续 TD 误差信息,两者不是同一个参数。

在一个没有跨回合重置的片段里,离片段末端还有 L 步时:

$$\hat A_t^{\rm GAE}=\sum_{l=0}^{L-1}(\gamma\lambda)^l\delta_{t+l}$$

先看一个能手算的两步片段:奖励为 1、2,价值预测为 0.5、1,第二步后真正终止;取 γ=1。两个 TD 误差是 $1+1-0.5=1.5$、$2-1=1$。

λ第一步优势估计这里多看了什么
01.5只看当前 TD
0.51.5+0.5×1=2加一半后续 TD
0.952.45纳入更多后续 TD
12.5完整回报 3 减当前预测 0.5

看下面的加权对照:每行保留相同的当前 TD,只改变加回来的后续 TD。条形长度对应算出的优势,不是算法性能或方差。

同一组 TD 误差:改变 λ,加回多少后续信息γ=1;δ₀=1.5,δ₁=1;第二步后真正终止λ = 0当前 δ₀:1.5合计 1.5λ = 0.95当前 δ₀:1.5后续:0.95合计 2.45λ = 1当前 δ₀:1.5后续:1合计 2.500.511.522.5横轴是优势估计数值,不是 λ 刻度,也不是算法性能曲线λ=1:1.5+1=2.5,等于完整回报 3 减当前预测 0.5
三行共用 δ₀=1.5、δ₁=1 和 γ=1,只改变后续 TD 的权重;长度是精确优势数值,不是偏差、方差或性能测量。λ=1 的 2.5 等于完整回报 3 减当前预测 0.5;此例第二步真正终止。

λ=1 时不是“优势就等于回报”。 完整、真正终止的回合上,各步中间 V 项抵消,剩下 $G_t^\gamma-V_w(s_t)$。若 V 不准,它不一定是条件无偏的真优势估计;但在前述固定状态基线条件下,减去 V 不改变回报式策略梯度的期望。

λ=0 只用一步 TD,较依赖 Critic;λ 接近 1 时较多依赖采到的未来奖励。常见实现把 0.95 作为起点,并非通用最优值;“λ 越大方差必然越大、偏差必然越小”也不是任意任务的逐点定律。GAE 的定义与端点条件

最容易漏掉的条件:到底在哪里结束

真正终止、外部截断、采样批次结束,不是同一件事。

当前片段为何结束 最后一步 TD 是否自举 后续 TD 误差如何接
任务真正终止 不加下一状态价值 到此停止,不接重置后的回合
外部时间限制造成截断,任务本来还可继续 加截断前最后观测的价值 到此停止,不接重置后的回合
rollout 收集够一批,任务仍继续 加这批末尾下一观测的价值 本批计算到此停止;未来未采到的 δ 不凭空补出

有自动重置的环境,下一次读到的观测可能已经是新回合初始状态。外部截断所需的是结束前的最后观测,不要拿重置观测去自举。Gymnasium 的时间限制说明

若 λ=1 但片段在任务尚未结束时截断,结果仍有尾项:

$$\hat A_t=\sum_{l=0}^{L-1}\gamma^l r_{t+l}+\gamma^L V_w(s_{t+L})-V_w(s_t)$$

这不是完整蒙特卡洛回报减基线;最后那个 V 的误差仍会影响估计。例如只采到开头例子的一步,就仍是 $1+3-2=2$,不能假装已观察完未来。

实际程序通常从后向前递推:

$$\hat A_t=\delta_t+\gamma\lambda c_t\hat A_{t+1}$$

cₜ 控制是否继续累加后续 δ;dₜ 控制是否加下一状态价值。 回合终止或外部截断后 c=0;本批末尾也不再有后续项。外部截断可以同时满足 d=0、c=0:保留未来预测,但切断新回合的误差串。

这就是第 5 章 TD(λ)的多步思想用在优势估计上。完整 GAE 循环及边界实现见第 11 章的 PPO 小实验;GAE 常与 PPO 配合,但不是 PPO 唯一允许的估计器。

🔨 四、最小实现

下面完整执行一批采样与一次 Actor–Critic 更新,不需要补任何未定义变量。 它是教学小实验,不是完整游戏训练,也不宣称比较了算法性能。

环境固定走两步:状态 0 → 状态 1 → 终止。每步选 0 或 1;动作等于当前状态就奖 1,否则奖 0。最开始每个动作概率都是 50%,Critic 预测为 0.5。

我们采 32 个回合,再用一步 TD 优势做一次更新。依赖 PyTorch,全部在 CPU 上运行,无需下载环境或模型;代码采用 γ=1,与本章总奖励目标一致。

运行完整小实验:采样、TD、两个损失、更新与断言
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.distributions import Categorical

torch.manual_seed(7)
torch.set_num_threads(1)
gamma = 1.0
observations = torch.eye(3)  # 状态0、状态1、终止占位状态2
actor = nn.Linear(3, 2, bias=False)
critic = nn.Linear(3, 1, bias=False)
with torch.no_grad():
    actor.weight.zero_()
    critic.weight.fill_(0.5)
optimizer = torch.optim.SGD(
    list(actor.parameters()) + list(critic.parameters()), lr=0.2
)

def td_targets(rewards, next_values, terminated, discount):
    with torch.no_grad():
        return rewards + discount * (~terminated).float() * next_values

# 只在当前冻结参数下采样;一批中不偷偷更新策略。
states, actions, rewards, next_states, terminals = [], [], [], [], []
with torch.no_grad():
    for _ in range(32):
        for state in (0, 1):
            action = Categorical(logits=actor(observations[state])).sample()
            states.append(state)
            actions.append(action.item())
            rewards.append(float(action.item() == state))
            next_states.append(state + 1)
            terminals.append(state == 1)

states = torch.tensor(states)
actions = torch.tensor(actions)
rewards = torch.tensor(rewards)
next_states = torch.tensor(next_states)
terminated = torch.tensor(terminals, dtype=torch.bool)
values = critic(observations[states]).squeeze(-1)
next_values = critic(observations[next_states]).squeeze(-1)
targets = td_targets(rewards, next_values, terminated, gamma)
advantages = (targets - values).detach()

dist = Categorical(logits=actor(observations[states]))
actor_loss = -(dist.log_prob(actions) * advantages).mean()
critic_loss = F.mse_loss(values, targets)
entropy = dist.entropy().mean()  # 当前策略分布的熵
loss = actor_loss + 0.5 * critic_loss - 0.01 * entropy
with torch.no_grad():
    before = actor(observations[:2]).softmax(-1).diagonal().clone()
    error_before = critic_loss.item()
optimizer.zero_grad()
loss.backward()
assert not targets.requires_grad and not advantages.requires_grad
assert torch.isfinite(actor.weight.grad).all()
assert torch.isfinite(critic.weight.grad).all()
optimizer.step()
with torch.no_grad():
    after = actor(observations[:2]).softmax(-1).diagonal()
    error_after = F.mse_loss(
        critic(observations[states]).squeeze(-1), targets
    ).item()

# 同一个奖励1、下一状态预测3:终止不自举,外部截断仍自举。
edge = td_targets(torch.tensor([1.0, 1.0]), torch.tensor([3.0, 3.0]),
                  torch.tensor([True, False]), gamma)
assert torch.equal(edge, torch.tensor([1.0, 4.0]))
assert (after > before).all()  # 仅核对本例这批样本的一次更新
assert error_after < error_before
print("transitions:", len(states))
print("correct-action probability:", before.tolist(), "->", after.tolist())
print("critic MSE against frozen targets:", error_before, "->", error_after)
print("terminal / truncated target:", edge.tolist())

读代码时先找这三个连接:

  1. td_targets:奖励连接下一状态的预测,但真正终止时只剩奖励。函数用 no_grad() 固定目标,不沿目标端反传。
  2. advantages = (targets - values).detach():Actor 把估计优势当作权重;Critic 的训练由自己的预测误差负责。这样不会为了减小策略损失而直接改写权重本身。
  3. optimizer.step() 前后:概率检查的是两个状态各自正确动作的概率;Critic 检查的是对同一批冻结目标的误差,不是对真价值误差的保证。

本次 CPU 实跑得到 64 条状态转移。固定种子下的结果是:

观察什么更新前更新后
状态0选对的概率0.50000.5164
状态1选对的概率0.50000.5125
Critic 对冻结目标的 MSE0.45310.4114

终止/外部截断的目标断言分别得到 1、4。代码按64条转移取平均;这里每回合固定两步,相比按32个回合求平均只多一个固定的1/2缩放,不会改变梯度方向。改变环境长度后不能不加说明地沿用这个解释。

一次更新朝正确方向,不等于网络已经学会任务;完整训练还要继续重新采样、更新、独立评估。不要把反复拟合同一批旧动作当成无条件成立的 on-policy 学习。

原来的三个实现提醒,应该怎样理解

第一处:梯度边界。 目标和优势在这次更新里应固定。不 detach 会多出“通过 Critic 改变目标/权重”的梯度,偏离这里要实现的更新;不等于每个程序都会立刻崩溃。共享骨干时,Actor 与 Critic 仍可通过各自的合法损失训练共享特征。

第二处:损失量级。 0.5 是本例价值损失系数,不是必选常数。奖励尺度、价值误差、网络是否共享都会影响平衡;应该看实际梯度和评估回报,而不只看两个 loss 数字谁更大。

第三处:探索。 本例加了 −0.01×熵,最小化总损失时会鼓励保持随机性。但熵奖励不是所有 Actor–Critic 的必需条件;没有它不代表探索必然“死掉”,有它也不保证探索充分。若把熵作为长期优化目标的一部分,目标本身会改变。

🧬 五、主要变体

Actor–Critic 是一类分工方式,不是一套固定的采样规则。 下面这些名称不能只按“更稳”“更新”排成排行榜。

方法 主要区别 读的时候保留的条件
A2C 多个环境收集一批数据后同步更新 并行有助于分散连续轨迹的相关性,不保证得到独立样本
A3C 多个工作线程异步采样与更新 会涉及参数延迟;A2C 是同步替代方案,不是所有场景都已取代 A3C
PPO 用概率比、裁剪或 KL 机制控制代理目标更新 裁剪不是策略变化的硬限位,见第 11 章
DDPG / TD3 确定性策略、off-policy,典型用途是连续控制 常用回放池;TD3 用双 Q、延迟策略更新等应对函数近似误差
SAC 随机策略、off-policy,最大熵目标 常用于连续控制;性能依赖任务、奖励、实现与调参,不能称“总是最稳”

A3C 的异步设计来自原论文;A2C 的同步实现及具体实验对照见OpenAI Baselines 说明。这些来源支持设计与实验范围,不支持“所有任务同步一定更优”。

DDPG 原论文说明确定性 Actor–Critic 的连续控制方案;TD3 原论文针对 Actor–Critic 的函数近似误差提出改进。它们不是直接把随机动作的 log 概率公式照搬过去。

SAC 值得记住的是目标不同:它同时考虑回报与策略熵。 SAC 原论文报告了所测连续控制任务上的结果,不构成对所有任务的稳定性排名;探索仍需实际评估。

🧭 六、三条路线的对比(这一章的总结)

比较具体算法和条件,不把整个家族贴成“低、中、高”。

比较项 DQN 这一类价值方法 完整回报 REINFORCE Actor–Critic 家族
主要学什么 Q 值,再据此选动作 显式策略;也可额外学状态基线 策略 + 价值估计,可共享特征
连续动作 标准 DQN 的离散枚举不直接适用 可使用合适的连续动作分布 有离散/连续版本,需选匹配算法
偏差与方差 TD 自举和函数近似可能引入误差 完整当前策略轨迹下,回报式梯度估计可无偏;常有较大噪声 取决于优势估计与价值误差,不固定为“中等”
何时更新 常边采样边从回放池更新 完整回报通常等回合结束,再做批次更新 一步 TD 可及时更新,也可攒多步/多个环境
样本使用 off-policy,通常可回放旧经验 基本形式使用当前策略数据 A2C/PPO 常用近策略数据;DDPG/TD3/SAC 可回放

回放可以减少昂贵的环境交互,但增加计算或更新次数也有成本;样本效率不能从“价值/策略/Actor–Critic”三个名称直接排出高低。

一句话概括:价值方法帮助估计后果,策略方法直接学习行动分布;Actor–Critic 让两种工作协作。自举式优势常在偏差与方差之间折中,但不是无条件用“有偏低方差”换“无偏高方差”。

🔗 和站内其他章的关系

需要接上的知识 从哪里继续
MC、TD 与多步估计 第 5 章;理解 GAE 为什么保留或舍弃尾部
Actor 的 log 概率更新 第 9 章;区分样本权重与真实优化目标
Q 网络如何学习 第 8 章;本章 V-Critic 不做 DQN 的 max 目标
策略怎样探索 第 7 章;熵是一种手段,不是唯一手段
偏差与方差的基本概念 ML 基础第 5 章;本章比较的是估计与更新的误差来源

✅ 检查点

  1. Actor 和 Critic 各负责什么?必须是两份独立网络吗?
  2. Gₜ 从哪里开始算?Actor–Critic 怎样改变策略更新中的样本权重?
  3. TD 误差 δ 的人话含义是什么?真正终止时哪一项消失?
  4. 一步优势估计带来哪三个可能的收益?为什么还要检查 Critic 的误差?
  5. 1001 与 999 的例子为什么减去 1000?两个动作概率能同时升高吗?
  6. 状态基线不改期望需要什么条件?它一定降低方差吗?
  7. GAE 的 λ 在调什么?λ=1 什么时候是 G−V,什么时候还带尾部自举项?
  8. 梯度边界、损失尺度和探索这三处,实现时分别应该检查什么?
  9. 怎样概括三条路线的关系,又不把样本效率与稳定性排成固定高低?
👀 答案
  1. Actor 给动作策略,Critic 给状态或动作的价值估计。它们可以独立,也可以共享特征层;Critic 不知道真实未来。

  2. Gₜ 从动作 t 起加后续奖励,不含已经过去的奖励。Actor–Critic 常用 Critic 构造的优势估计作为更新权重;估计不一定等于真优势。

  3. δ 是“当前奖励 + 可继续时的未来预测 − 原先预测”。真正终止时不加下一状态价值;外部截断本来还可继续时则需要自举。

  4. 可在一步后构造目标、常能减少未来随机性带来的噪声,并保留适配不同动作分布的能力。预测误差可能让估计有偏;收益大小不是通用保证。

  5. 1000 是本例当前策略的平均回报,减后得到 +1、−1,突出相对好坏。Q 的绝对值仍有意义;概率归一化使两个动作不可能同时增加。

  6. 基线需在当前动作采样条件下与该动作无关,并在策略更新时固定;还需通常的可微条件。期望中的基线梯度项为 0,但坏基线会增加方差。

  7. λ 控制混合多少后续 TD 误差;0.95 是常见起点,不是定律。完整真正终止回合、λ=1 时为 G−V;截断片段仍有末尾 V 的折扣项。

  8. 固定 TD 目标与优势的梯度路径;结合奖励尺度和共享参数检查损失/梯度;检查探索是否充分,不把系数0.5、熵系数0.01当必选常数。

  9. 价值方法学后果,策略方法学行动,Actor–Critic 让两者合作。是否回放、是否自举以及具体任务决定样本利用与误差,不能按家族名称固定排名。

本节回顾

先记住这几件事

  • Actor 选动作,Critic 估未来;估计不是已经拿到的奖励。
  • 优势比较当前预期;减基线不改期望,但坏基线会加大噪声。
  • GAE 的结束边界要分清:真正终止不自举,外部截断不接新回合。
  • 目标与优势先固定,再分别训练策略和价值;用真实评估检查效果。

11 · PPO 介绍怎样利用一批优势估计更新策略,同时控制更新幅度。

打卡记录保存在你的浏览器里,首页能看到总进度