08 · DQN:状态存不下了怎么办
⏱ 30 分钟 | ⭐ 深度强化学习的起点
时间仅作起步参考,不是读完的期限。先理解一次更新,再按需看完整实现。
🎯 一句话
DQN 用一个神经网络估计各个动作的长期回报,再通过反复交互修正它。
先看一个输出:同一状态下,网络给“左、右”分别估 2 分、5 分。关闭探索时选右;这只是当前估计,不代表右边真的最优。
这页先解决三个问题:为什么换掉 Q 表、一次更新在拟合什么、经验回放与目标网络怎样帮助训练。
💥 一、为什么要换掉表格
状态太多时,既存不下,也来不及逐格学习。
- 小迷宫:100 个状态、每个状态 4 个动作,只需 400 个 Q 值。
- 图像输入:若用四张 84×84 的 8 位灰度图表示一次观测,所有可能像素组合有
256^(84×84×4)种。这是编码组合数上界,不是某款游戏实际可达状态数,也不是“一帧”的大小。 - 连续观测:位置、速度是实数时,直接枚举每种状态也不现实。可以离散化,但分得越细,表越大。
表格本身不会把两个不同的键自动联系起来。 学过“敌人在左边 30 像素”,不等于已经更新“左边 31 像素”的那一格。
网络让不同输入共享参数,因而有机会迁移经验;这不是“相似输入一定给出正确、相似输出”的保证。它也可能把不该混淆的状态混在一起。
🧠 二、DQN 的想法:用网络逼近 Q
输入状态,一次输出所有离散动作的估值。 Atari 图像通常用 CNN;CartPole 的 4 个数可以用小型全连接网络,不必先转成图片。
$$Q_\theta(s,a)\approx Q^*(s,a)$$
左边是当前网络估计,右边是希望逼近的最优动作价值。近似号是学习目标,不是训练后自动成立的结论。
先把一次更新算出来
假设当前选中动作的估值是 2;收到奖励 1,折扣 γ=0.9,下一状态的目标网络最大估值是 5。
| 这一步是否真正终止 | 目标 y | 平方误差 |
|---|---|---|
| 没有终止 | 1 + 0.9×5 = 5.5 | (5.5−2)² = 12.25 |
| 已经终止 | 1 | (1−2)² = 1 |
目标 y 是这次拿来拟合的数。 一次梯度更新只是朝减少误差的方向走,不会把网络输出直接改成 y。
把手算对应到损失公式
先为一条转移定义目标,再把一个批次的误差取平均:
$$y=r+\gamma(1-d)\max_b Q_{\theta^-}(s',b)$$
$$L(\theta)=\frac{1}{B}\sum_{i=1}^{B} \big(y_i-Q_\theta(s_i,a_i)\big)^2$$
- θ⁻ 是目标网络参数;求梯度时,y 当作固定目标,不沿这条支路反传。
- d=1 表示任务真正终止,否则为 0。B 是批次样本数。
- 这一步像监督回归,但整件事仍是强化学习:目标由估值构造,数据随交互而来,不是外部提供的固定正确标签。
下面代码使用 Smooth L1(默认阈值 1 时与 Huber 对应),而不是这个教学用平方误差;两者拟合同一个 y,损失数值不同。
任务终止与采样暂停要分开。 Gymnasium 中,terminated 决定是否去掉后续价值;terminated or truncated 决定是否重置环境。对持续任务的外部时间截断仍要自举。
若任务本来只持续有限步,剩余时间需进入状态,耗尽预算属于任务终止。自动重置的向量环境还要取真实的最后观测,不能把新回合第一帧当成 s′。见时间限制说明。
第 5 章的 TD 更新也需要同样的结束类型判断;换成网络不会消除这个边界。
⚠️ 三、直接换成网络:三种不稳定风险
风险不等于必然失败。 简单任务里,朴素版本也可能学会;不能用“它没崩”判定代码写错。
问题 1:样本高度相关
连续游戏画面往往很接近,只拿刚发生的一步更新,批次可能长期缺少其他状态。网络会反复适应局部片段。
随机抽批次能缓解这种时序相关。相关数据并非完全不能学习,监督学习也不是一遇到非 i.i.d. 数据就失效;关键是采样与估计是否合适。
问题 2:目标在动
若当前预测和目标都由同一组 θ 生成,更新一次参数后,两边可能一起改变。
例如你正把 Q(s,a) 从 2 往 5.5 调,下一轮目标又被新的估值推远。自举反馈可能放大误差,不代表每次都会发散。
问题 3:数据分布随策略改变
策略变了,会去到不同状态。新数据可能覆盖以前少见的情况,也可能让旧经验被遗忘;“换了分布”本身不等于任务规则已变。
上面三种训练现象,不是“致命三要素”的三个定义。 后者是:函数近似、自举、离策略更新。它们组合时存在发散反例;第 6 章的表格收敛条件不能直接担保神经网络版本。
🩹 四、两项稳定化措施与一组 Atari 处理
补丁 1:经验回放(Experience Replay)
先存转移,再随机抽批次学习。
- 把一次交互的 s、a、r、s′、是否终止存入有限容量的回放池。
- 池中数据够一个批次后,随机抽取,例如 32 条。
- 更新网络;旧转移以后仍可再抽到,容量用满后淘汰较早数据。
原始 Atari 研究使用大回放池;100 万条是那类配置的量级,不是所有任务的必需值。
DQN 的离策略目标允许复用旧行为策略的有效转移,仍需同一任务、正确状态与奖励定义、足够覆盖。随机抽样减轻相关性,不会创造无限独立信息,也不能保证罕见关键状态一定被抽到。
普通同策略更新不能无校正地使用任意旧策略数据。PPO 在最近一批轨迹上有限更新,不等于 DQN 的历史回放。见同策略与离策略。
补丁 2:目标网络(Target Network)
训练网络不断更新,目标网络隔一段时间才复制一次参数。
“目标固定”指同一条转移在目标网络冻结期间算出的 y 固定;不同样本的奖励、下一状态不同,y 当然可以不同。它缓解反馈,不会把整个 RL 过程变成固定数据的监督学习。
硬同步的 C 必须说明按环境步还是按梯度更新计数。1000–10000 这类量级只作配置参考;下面小环境每 20 次梯度更新同步,不能直接搬到 Atari。也有每次少量混合参数的软更新,机制不同。
补丁 3:奖励裁剪与预处理
这组做法来自 Atari 配置,不是所有 DQN 任务的必修开关。
- 奖励尺度:原始研究把正奖励变成 +1、负奖励变成 −1、0 保持不变,方便跨游戏用相近优化设置。正负号裁剪与一般的区间 clip 不完全相同。
- 代价:原奖励 1 和 100 都变成 1,可能改变策略排序。不能拿裁剪奖励训练的 Q 值直接对比原始游戏分数。
- 画面处理:取灰度、缩到 84×84、堆叠 4 帧。多帧能提供运动方向线索,不能保证任意部分可观测任务因此满足马尔可夫性。
具体 Atari 实验还包含帧跳过等约定。复现时应对齐完整环境包装,而不是只记住四个数字。参见原始 DQN 论文。
🔨 五、核心代码:先在两步环境跑通
这段能独立运行,验证“网络学到把未来奖励传回起点”。 需要 NumPy、PyTorch;仅用 CPU、小型全连接网络,不是 Atari 或 CartPole 完整训练器。
沿用第 6 章的小例子:起点选 0 立即结束、奖励 0;选 1 到中间站,再走一步得 1 并结束。γ=0.9,所以起点最优动作是 1,最优 Q 值为 0.9。
先看运行后的“起点 Q 值、贪心动作”。代码不用一次读完;阅读顺序是 learn 的目标计算、目标同步,最后看底部交互循环。
import copy
import random
from collections import deque
import numpy as np
import torch
from torch import nn
class DQN:
def __init__(self, net, n_actions, gamma=0.99, lr=1e-4, buf=100_000):
self.q = net.cpu().float()
self.q_target = copy.deepcopy(self.q).eval()
self.q_target.requires_grad_(False)
self.opt = torch.optim.Adam(self.q.parameters(), lr=lr)
self.buffer = deque(maxlen=buf)
self.gamma, self.n_actions = gamma, n_actions
self.step_count = 0
def act(self, s, eps):
if random.random() < eps:
return random.randrange(self.n_actions)
with torch.no_grad():
x = torch.as_tensor(s, dtype=torch.float32).unsqueeze(0)
return int(self.q(x).argmax(dim=1).item())
def learn(self, batch_size=32, sync_every=1000):
if len(self.buffer) < batch_size:
return None
batch = random.sample(self.buffer, batch_size)
s, a, r, s2, terminated = map(np.array, zip(*batch))
s = torch.as_tensor(s, dtype=torch.float32)
s2 = torch.as_tensor(s2, dtype=torch.float32)
a = torch.as_tensor(a, dtype=torch.long)
r = torch.as_tensor(r, dtype=torch.float32)
terminal = torch.as_tensor(terminated, dtype=torch.bool)
q = self.q(s).gather(1, a.unsqueeze(1)).squeeze(1)
with torch.no_grad():
next_value = torch.zeros_like(r)
live = ~terminal
if live.any(): # 全批次都终止时,不调用空批次网络
next_value[live] = self.q_target(s2[live]).max(dim=1).values
target = r + self.gamma * next_value
loss = nn.functional.smooth_l1_loss(q, target)
self.opt.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(self.q.parameters(), 10)
self.opt.step()
self.step_count += 1
if self.step_count % sync_every == 0:
self.q_target.load_state_dict(self.q.state_dict())
return float(loss.item())
class TwoStepEnv:
"""教学环境:动作 0/1;不是 Gymnasium 接口。"""
def reset(self):
self.state = 0
return np.eye(3, dtype=np.float32)[self.state]
def step(self, action):
if self.state == 2:
raise RuntimeError("已经终止,请先 reset")
if action not in (0, 1):
raise ValueError("动作只能是 0 或 1")
reward = float(self.state == 1)
self.state = 1 if self.state == 0 and action == 1 else 2
return np.eye(3, dtype=np.float32)[self.state], reward, self.state == 2
random.seed(7)
np.random.seed(7)
torch.manual_seed(7)
torch.set_num_threads(1)
net = nn.Sequential(nn.Linear(3, 16), nn.ReLU(), nn.Linear(16, 2))
agent = DQN(net, n_actions=2, gamma=0.9, lr=0.005)
env = TwoStepEnv()
for episode in range(500):
state = env.reset()
terminal = False
while not terminal:
action = agent.act(state, eps=0.2)
next_state, reward, terminal = env.step(action)
agent.buffer.append((state.copy(), action, reward, next_state.copy(), terminal))
agent.learn(batch_size=16, sync_every=20)
state = next_state
start = env.reset()
with torch.no_grad():
start_q = agent.q(torch.as_tensor(start).unsqueeze(0))[0]
print("起点 Q 值:", [round(v, 3) for v in start_q.tolist()])
print("贪心动作:", agent.act(start, eps=0))
assert agent.act(start, eps=0) == 1
assert abs(start_q[1].item() - 0.9) < 0.1
assert all(p.grad is None for p in agent.q_target.parameters())
结果看哪里:第二个 Q 值应接近 0.9,贪心动作应为 1;末尾断言检查这两项和目标网络无梯度。小数末位可能受版本影响,不把训练损失每一步下降作为要求。
实现边界:这段只处理固定长度数值向量和有限离散动作,终止后仍返回形状一致的观测。没有 Dropout/BatchNorm、GPU、图像归一化或自动重置包装。迁移到 Gymnasium 时按上文区分终止与截断。
四处必须分开检查
- 目标支路:它应停止梯度。若独立目标网络没放进优化器,漏写
no_grad不一定立刻改变其参数,但会建立无用计算图并可能积累梯度;不能把后果一概写成“直接乱掉”。 - 终止处理:真正终止时目标只剩 r;外部时间截断不要误清零。回放池应保存这个区别。
- 损失与梯度裁剪:MSE 对大误差更敏感,但不是一用就爆炸。Huber 和梯度裁剪处理的是不同环节,都不保证绝不发散。
- 目标同步:检查复制前后参数;“优化器只改在线网络”和“目标网络定期复制”是两件事。
gather 这一行只取批次中每条转移实际执行动作的 Q 值。例如一行输出 [2,5]、动作是 0,就取 2;不是先对当前状态也取最大值。
🚀 六、后续改进:每项解决不同问题
先把上述实现跑通,再按遇到的问题选择扩展。
- Double DQN:在线网络选下一动作,目标网络评估该动作,减轻最大化偏差;不保证每个状态都无偏。
- Dueling DQN:把共享的状态分量和动作差异分开建模,组合时需去掉优势分量的平均值等以固定分解;不是只写 V+A 就唯一确定。
- 优先经验回放 PER:按 TD 误差等指标提高抽样概率。要保留非零覆盖,并考虑重要性权重修正采样偏差;大误差也可能来自噪声。
- Noisy Nets:学习带参数噪声的探索机制,不是随便给所有权重加一次噪声。
- Rainbow:组合 Double、Dueling、PER、Noisy Nets、多步回报、回报分布学习六项扩展。最后一项学习回报的概率分布,而不只估计均值;不是多机训练。论文在特定 Atari 基准上取得改进,不代表所有任务最好。见Rainbow 原论文。
Double DQN:看清“选”和“评”
下面是独立可运行的目标计算对照。给定两组网络输出,不训练网络;不是省略变量的训练循环骨架。
第一条转移:在线网络输出 [4,3],选动作 0;目标网络输出 [2,5]。普通 DQN 取 5,Double DQN 评估动作 0 得 2。
第二条转移已经终止,两种目标都必须只等于奖励 2。
import torch
online_next = torch.tensor([[4.0, 3.0], [99.0, -5.0]])
target_next = torch.tensor([[2.0, 5.0], [7.0, 8.0]])
rewards = torch.tensor([1.0, 2.0])
terminated = torch.tensor([False, True])
gamma = 0.9
with torch.no_grad():
dqn_next = target_next.max(dim=1).values
selected = online_next.argmax(dim=1, keepdim=True)
double_next = target_next.gather(1, selected).squeeze(1)
dqn_target = rewards + gamma * torch.where(terminated, 0.0, dqn_next)
double_target = rewards + gamma * torch.where(terminated, 0.0, double_next)
print("DQN 目标:", dqn_target.tolist())
print("Double DQN 目标:", double_target.tolist())
torch.testing.assert_close(dqn_target, torch.tensor([5.5, 2.0]))
torch.testing.assert_close(double_target, torch.tensor([2.8, 2.0]))
第一条分别得到 5.5 和约 2.8;第二条都是 2。 这证明选评方式和终止处理不同,不证明真实价值一定是 2.8。真实回报没有在这组输入里给出。机制见Double DQN 论文。
🧱 七、DQN 的适用边界
标准 DQN 最直接适用于可枚举的离散动作。 动作很多会增加输出和取最大值的成本;连续动作不能直接套有限输出头,需要离散化、额外优化或别的算法设计。
- 方向盘角度、关节力矩是连续量,策略梯度或 Actor-Critic 是常见选择。
- 5 万个 token仍是有限离散动作,数学上可以取 max;问题在大动作空间、长序列和训练方法,不是“没法取最大值”。
- 样本成本与超参仍要考虑。Atari 常需大量交互帧,但帧、动作决策、梯度更新不是同一个计数单位。
第 9 章改为直接优化策略,不意味着必须放弃价值估计;Actor-Critic正是两者配合。
🔗 八、和站内其他章的关系
- 第 6 章:Q-learning 目标、行为/目标策略与 Double Q。
- 第 2 章:状态应包含什么,多帧观测的边界。
- ML 基础 12:处理图像时才需要的 CNN 路线。
- ML 基础 13:梯度范数和裁剪;不能据此把 DQN 的问题都归因于 RNN 式时间连乘。
- 第 15 章项目二:把组件逐项加入 CartPole,记录真实结果。
- PyTorch 官方 DQN 教程:完整 CartPole 交互训练参考;其软同步配置与本页硬同步示例不同。
✅ 检查点
- 表格有哪两个扩展困难?网络共享参数是否保证正确泛化?
- 奖励 1、γ=0.9、下一状态最大估值 5 时,非终止与终止目标分别是多少?
- 三种训练风险和“致命三要素”是同一套定义吗?
- 回放能缓解什么?为什么不是任意旧数据都能使用?
- 目标网络固定时,是同一条转移的目标固定,还是所有样本目标相同?
- 停止梯度、结束类型、Huber 和同步各需要检查什么?
- Double DQN 两条转移的目标是什么?能由此认定真实价值吗?
- 连续动作和 5 万 token 有何区别?策略梯度是否排斥 Critic?
👀 答案
- 状态动作组合太多,以及表格键之间不自动共享学习;网络有泛化机会,也可能错误泛化。
- 5.5 与 1。真正终止没有未来奖励。
- 不同。致命三要素是函数近似、自举、离策略;有发散风险,不是每次必崩。
- 减轻时序相关、复用已有转移;仍要同任务、有效状态奖励定义和覆盖。
- 同一条转移在两次同步之间的目标固定。不同转移通常不同。
- 目标支路不反传;终止才去掉后续值;Huber 减弱大误差影响但非万能;明确同步的计数单位与参数是否真的复制。
- 约 [2.8,2.0],普通 DQN 是 [5.5,2.0]。未给真实回报,不能判定谁恰好无偏。
- 前者不能直接枚举,后者有限但可能昂贵。Actor-Critic 同时学习策略和价值。
本节回顾
先记住这三件事
- DQN 用共享参数估计 Q,泛化和稳定性都需要验证。
- 回放重用转移,目标网络放慢自举目标变化;二者不是收敛保证。
- 先核对目标、终止和同步,再用公平实验比较扩展。
下一节 👉 09-策略梯度.md