🏠 总目录📚 本教程 06 · Q-learning 与 SARSA ← →

下一步用最大 Q 还是实际动作的 Q,会改变什么?

读后可检查:手算 Q-learning 与 SARSA 的更新,结合悬崖例核对探索行为和收敛前提。

📑 本页目录(点开跳转)

06 · Q-learning 与 SARSA

⏱ 22 分钟 | ⭐ 第一个真正能用的算法


🎯 一句话

Q-learning 用“下一步当前估值最高的动作”更新;SARSA 用“下一步实际选出的动作”更新。

两者都能从交互样本学习,不必事先拿到环境的转移概率表。但能否学好,还取决于探索、学习率和环境条件;不是换一个公式就自动最优。

这页先解决一个问题:探索时走了一步不太好的动作,要不要把它计入学习目标?

先看一次手算,再看悬崖路线。代码和收敛细节可以稍后回来。

🔑 一、为什么这里用 Q 选动作

V 给一个状态打分;Q 给“状态里的某个动作”打分。

  • V(s):在状态 s,按指定策略继续,预期还能拿到多少累计奖励。
  • Q(s,a):在 s 先做 a,再按指定策略继续,预期累计奖励是多少。
  • argmax:找出分数最高的动作编号;max 才是那个分数。

例如,在同一个路口,Q 表给“左走”记 2、“右走”记 5。贪心选择直接选右走,不用先预测两个方向分别通向哪里。

只拿 V 做一步前瞻,通常还需要下一状态的分布、奖励或可采样的模拟器。这不等于所有强化学习都必须用 Q:也可以直接学习选动作的策略。

第 3 章的价值函数在这里派上用场。下文的“无模型”指学习更新不需要显式的转移模型,不是没有状态、奖励、动作和交互接口。

🎯 二、Q-learning

先算这次样本给出的目标,再把旧估计向目标挪一点。 当前 Q 表可能还不准,所以“取最大 Q”不等于已经知道真正最优动作。

非终止转移的目标:

$$y_Q = r + \gamma \max_b Q(s',b)$$

更新当前这一格:

$$Q(s,a)\leftarrow Q(s,a)+\alpha[y_Q-Q(s,a)]$$

  • s、a:刚才在哪、做了什么;s′、r:随后到了哪、拿到多少奖励。
  • b:遍历下一状态的可选动作,不是这次已经执行的 a。
  • γ:未来奖励的折扣;α:本次纠正的步幅。
  • 真正进入终止状态时,目标只剩 y = r,不再加未来价值。

容易混淆:结束采集不一定等于环境终止。 若只是外部时间上限打断一个本可继续的任务,通常仍要用下一状态的价值;有限时域任务则应把剩余时间纳入状态。下方自定义小环境没有时间截断。接口区别见 Gymnasium 时间上限说明。

想看来源:它怎样对应贝尔曼最优方程?

贝尔曼最优方程对所有可能的下一状态和奖励求期望:

$$\begin{aligned} Q^*(s,a)&=\mathbb E[y^*\mid s,a]\\ y^*&=r+\gamma\max_b Q^*(s',b) \end{aligned}$$

y 表示用最优 Q 算出的样本目标;终止状态的后续价值取 0。Q-learning 用一次实际观察到的转移代替这个期望,用当前 Q 代替未知的 Q*,然后重复更新。

一次样本可能偏高或偏低;取样更新不是“这一条样本就等于正确答案”。第 5 章 TD讲的也是这种利用下一步估计纠正当前估计的思路。

🔨 可独立运行:先在两步小环境里看到结果

这段代码只验证 Q-learning 能把终点奖励传回前一步,不是悬崖实验,也不是通用环境适配器。 需要 NumPy。

小环境有两个动作:起点选 0 立即结束、奖励 0;选 1 先到中间站,下一步得到奖励 1 并结束。γ = 0.9,所以起点动作 1 的最优价值是 0.9。

接口约定:reset() 返回整数状态;step(a) 返回 (下一状态, 奖励, 是否真正终止)。每轮最多两步。它不是 Gymnasium 的五元组接口,不能直接换成 Gymnasium 环境。

import numpy as np

def q_learning(env, n_episodes=5000, alpha=0.1, gamma=0.9, eps=0.1):
    Q = np.zeros((env.n_states, env.n_actions))
    for _ in range(n_episodes):
        s, done = env.reset(), False
        while not done:
            # ε-贪心:以 eps 概率随机探索(第 7 章详讲)
            a = (np.random.randint(env.n_actions) if np.random.rand() < eps
                 else int(np.argmax(Q[s])))
            s2, r, done = env.step(a)
            target = r + gamma * (0 if done else Q[s2].max())   # ⭐ 核心
            Q[s, a] += alpha * (target - Q[s, a])
            s = s2
    return Q

class TwoStepEnv:
    n_states, n_actions = 3, 2

    def reset(self):
        self.state = 0
        return self.state

    def step(self, action):
        if self.state == 0:
            self.state = 2 if action == 0 else 1
            return self.state, 0.0, action == 0
        if self.state == 1:
            self.state = 2
            return 2, 1.0, True
        raise RuntimeError("终止后请先 reset")

np.random.seed(7)
Q = q_learning(TwoStepEnv())
print("起点两个动作的 Q:", np.round(Q[0], 2))
print("贪心动作:", int(np.argmax(Q[0])))
assert np.allclose(Q[0], [0.0, 0.9], atol=0.01)

运行后看两处:起点 Q 约为 [0.0, 0.9],贪心动作是 1。

原函数里的 target 一行计算样本目标,Q[s, a] += ... 只更新刚才那一格。done 分支阻止终点继续“借用”未来奖励。

这里固定 α = 0.1、ε = 0.1,方便观察有限轮训练;不能拿这组固定参数声称已经满足后面的渐近收敛定理。

🐍 三、SARSA:下一步真选了什么

SARSA 的下一动作 a′ 来自正在执行的策略,包括探索时抽中的动作。 非终止转移的目标改成:

$$y_S = r+\gamma Q(s',a')$$

仍然用同样的“向目标挪一点”更新:

$$Q(s,a)\leftarrow Q(s,a)+\alpha[y_S-Q(s,a)]$$

名字来自五个量:S、A、R、S′、A′。实现时要把本次选好的 a′ 留给下一步执行,不要更新时选一次、执行前又重新抽一次。终止时不必再选 a′,直接用目标 r。

现在手算一次,两种目标就看清了。

共同条件:旧 Q = 1,α = 0.2,γ = 0.9,这步奖励 r = −1。下一状态的两个 Q 分别是 4 和 −2,但探索抽中了 −2 对应的动作。

本次更新Q-learningSARSA
下一步取的分数4−2
样本目标2.6−2.8
更新后的 Q1.320.24

核对第一列:目标是 −1 + 0.9 × 4 = 2.6;新 Q 是 1 + 0.2 × (2.6 − 1) = 1.32。第二列只是把 4 换成实际所选动作的 −2。

如果这次已经终止,两者目标都为 −1,新 Q 都为 0.6。

⭐ 这个差别的真实含义:Off-policy vs On-policy

先区分两个角色:行为策略负责采样,目标策略是正在学习、评估的策略。

看哪个角色Q-learning普通 SARSA
学习目标当前 Q 对应的贪心目标当前实际执行的策略
下一动作如何进入目标取最大 Q,不使用采样的 a′使用该策略抽出的 a′
分类离策略(off-policy)同策略(on-policy)

“离策略”不等于“目标一定最优”:离策略方法也可以评估一个指定的非最优策略。Q-learning 是其中以最优动作价值为目标的一种控制算法。

别人的数据可以用,但不能随便用。 表格 Q-learning 可使用来自其他行为策略的有效转移,前提包括同一个环境任务、正确的状态/奖励定义,以及足够的状态动作覆盖。静态数据缺少关键动作时,不能凭空知道这些动作会怎样。

普通 SARSA 的样本动作需要对应正在评估的行为策略;若直接拿不同策略的数据代入,就不再是原来的同策略更新。带校正的其他算法是另一回事。

三个后续主题不要混成一个标签:

  • DQN 的经验回放复用历史转移,依赖它的离策略更新;仍有分布偏移和函数逼近问题。
  • 离线强化学习只拿固定数据学习,尤其需要处理覆盖不足,不能照搬“有回放就能学好”。
  • PPO 通常归为同策略算法。 它在最近一批旧策略样本上做有限次更新,并用概率比等机制约束变化;这不等于 Q-learning 式任意历史回放。见 PPO 官方算法说明。

🧗 四、悬崖行走:看的是带探索的表现

经典实验比较的,不只是最后关掉探索后走哪条路,还包括训练时实际付出了多少代价。

棋盘为 4 行 × 12 列:S 在左下角,G 在右下角,中间底排 10 格是悬崖。上、下、左、右移动,普通一步奖励 −1;进入悬崖奖励 −100,回到 S,这一轮还没结束。到 G 才终止。这里讨论无打滑的经典规则;参见 Cliff Walking 环境说明。

悬崖:−100,回 S,继续本轮 S G 没有探索偏离时,两条路都能到终点 实线:贴边 13 步,累计 −13 虚线:多留一行缓冲,15 步,累计 −15
看路线与悬崖的距离,不只看步数。

图中是两条指定路线的示意,不是本页代码训练得到的轨迹。步数与累计奖励按 γ = 1、途中没有偏离来算。

保持 ε = 0.1 的四动作 ε-贪心,并且随机分支均匀选动作时,贴边中间格每一步都有 ε / 4 = 0.025 的概率因探索“向下”掉落。远一行不容易一次偏离就掉落,但连续错误仍可能掉落。

  • Q-learning 学的是贪心继续时的目标;充分学习后的贪心路线可贴边走。但执行时仍有探索,就可能经常掉落。
  • SARSA 把探索动作的后果计入目标,在经典设置中通常形成更保守的路线,在线累计奖励更好。具体路线随 ε、训练进程等改变,不保证恰好是图中虚线。

不能据此说“需要安全就用 SARSA”。 它仍会探索危险动作,不提供硬安全约束;真实系统还需要动作限制、风险评估或安全控制器。Q 表更接近 Q* 与训练回报更高,也是两个不同指标。

📐 五、收敛性:先核对前提

“最终收敛”是无限采样极限下的定理,不是跑 5000 轮的合格证。

经典折扣表格 Q-learning 的常用条件包括:

  1. 有限、平稳的马尔可夫决策过程,奖励有界,0 ≤ γ < 1。
  2. 每个需要学习的状态动作对被访问无穷多次。
  3. 每一对状态动作自己的学习率序列,既不太快消失,也逐渐降低噪声影响。
条件 3 的公式,以及 SARSA 还需要什么

用 k 表示某一对状态动作的第 k 次更新,要求:

$$\sum_{k=1}^{\infty}\alpha_k=\infty,\qquad \sum_{k=1}^{\infty}\alpha_k^2<\infty$$

例如 αₖ = 1 / (k + 1) 满足这两条;固定 α = 0.1 不满足第二条。条件与折扣/吸收终止情形的区别见 Watkins 与 Dayan 原论文入口。

γ = 1 的回合式任务需要另外的终止、适当策略等条件,不能把上面 γ < 1 的表述直接照搬到所有任务。

SARSA 若要收敛到最优 Q,标准表格控制结果还需要类似 GLIE 的条件:无限探索,同时极限上变为贪心策略,再配合适当学习率和任务假设。固定非零 ε 的 SARSA 不等于在学习完全不探索的最优策略。参见 Singh 等人的同策略收敛论文。

“无限探索”不等于“ε 永远不能趋近 0”。 ε 可以逐渐减小,但关键状态动作仍须获得足够覆盖;任意衰减日程都不自动满足这一点。即使 ε 固定非零,也不能保证环境里所有状态都能到达。

第 7 章继续讲怎样分配探索机会。换成神经网络后,上面的表格定理不能直接使用;不是“所有函数逼近都毫无理论”,而是不能用这条定理担保 DQN。

⚠️ 六、Q-learning 的一个内在缺陷:最大化偏差

同一批带噪声的估计既负责挑最高分,又负责报告这个分数,容易选中幸运的高估。 这是一种统计倾向,不代表每次更新、每一个 Q 值都一定偏高。

一个可精确算出的例子:10 个动作真实价值都为 0,各自独立、等概率地被估成 +1 或 −1。

  • 只有全部 10 个估计都是 −1 时,最大值才是 −1;概率为 1 / 1024。
  • 其余 1023 / 1024 的情况,最大值是 +1。
  • 因此最大值的期望为 511 / 512 ≈ 0.998,不是 0。

这里“动作越多越容易高估”基于上述独立同分布设定;误差完全相关时不能照搬。

Double Q-learning 的办法:把选动作与打分分给两张表。

Q₁:选动作 b* 哪个动作在 Q₁ 中最大? b* Q₂:读这个动作的分 不在 Q₂ 中重新挑最大 这次更新 Q₁;另一些步交换角色,更新 Q₂ 减轻选择造成的高估,不保证所有估计无偏
先挑动作,再到另一张表读分。
把图对应到 Double Q-learning 更新式

以下是非终止、这次选择更新 Q₁ 的情况:

$$b^*=\arg\max_b Q_1(s',b)$$

$$y_D=r+\gamma Q_2(s',b^*)$$

$$\begin{aligned} \Delta&=\alpha[y_D-Q_1(s,a)]\\ Q_1(s,a)&\leftarrow Q_1(s,a)+\Delta \end{aligned}$$

Δ 是这次要加上的修正量。其他步交换 Q₁、Q₂ 的角色;终止转移仍只使用 r。不是永远只更新一张表、另一张保持初始值。

Double Q-learning 减轻最大化高估,但可能低估,也不保证每个有限样本估计无偏。见 Hasselt 的 Double Q-learning 原论文。

Double DQN 将“选择与评估分开”的思想用于神经网络。先理解这个分工,再去第 8 章,不需要现在同时记两套网络细节。

🔗 七、和站内其他章的关系

  • 第 3 章:Q-learning 目标来自贝尔曼最优方程。
  • 第 5 章:回顾 TD 怎样用下一步估计更新当前估计。
  • 推荐算法 13:对照 ε-贪心的使用场景。
  • 第 8 章 DQN:把表格换成神经网络,以及经验回放、Double DQN。
  • 第 11 章 PPO:理解概率比校正;不要把它误认成任意历史数据回放。

✅ 检查点

  1. 为什么用 Q 可以直接贪心选动作?所有方法都必须用 Q 吗?
  2. Q-learning 怎样更新?终止状态时目标是什么?
  3. SARSA 如何选择 a′?为什么更新后不能重新抽一个 a′ 再执行?
  4. 离策略与同策略区分的是哪两个角色?
  5. 别人的数据什么时候能用?PPO 为什么不是任意经验回放?
  6. 为什么经典悬崖实验中 SARSA 在线得分通常更好?这是安全保证吗?
  7. 表格收敛需要哪些条件?ε 趋近 0 就一定不行吗?
  8. 10 个独立 ±1 噪声估计的最大值期望是多少?Double Q 保证无偏吗?
👀 答案
  1. Q 已经给每个动作打分,argmax 直接找动作;V 单独做前瞻通常还需转移信息。也可以直接学策略,不是必须换 Q。
  2. 先算 r + γ max Q,再按 α 纠正旧 Q。真正终止时目标只有 r;外部截断需另辨别。
  3. a′ 来自实际行为策略,并留作下一步动作。重新抽样会让“目标中的动作”不再对应实际下一步。
  4. 行为策略负责采样,目标策略是学习对象。离策略允许两者不同,不等于目标必然最优。
  5. 必须是同任务的有效转移并有足够覆盖。普通 SARSA 需匹配行为策略;PPO 一般使用最近策略的一批数据有限更新,不是无限制历史回放。
  6. SARSA 的目标包含探索代价,因此可能绕远。仍可能因探索掉落,不提供硬安全保证;比较还需区分带探索训练与关闭探索的测试。
  7. 有限平稳 MDP、适当折扣/终止条件、有界奖励、逐状态动作的无限访问与学习率条件。ε 可趋近 0,前提是覆盖没丢;固定 α 的演示不是定理证明。
  8. 期望 511 / 512。Double Q 分开挑选与打分,减轻高估,但不保证无偏,也可能低估。

本节回顾

先记住这三件事

  • Q-learning 取下一步最大 Q;SARSA 取实际选中动作的 Q。
  • 训练时带探索的表现,不等于关掉探索后的表现。
  • 收敛与安全都需要条件;Double Q 也不是“从此没有误差”。

试着解释手算中的 1.32 与 0.24 为什么不同。下一章是 07 · 探索与利用。

打卡记录保存在你的浏览器里,首页能看到总进度