🏠 总目录📚 本教程 15 · 实战与挑战项目 ← →

从表格法到迷你 RLHF,怎样选一个可调试的实验?

读后可检查:先用原调试原则固定环境和评估,再按项目通关要求逐步增加复杂度。

📑 本页目录(点开跳转)

15 · 实战与挑战项目

⏱ 项目 1–2 天 / 挑战 4–7 天 | ⭐ RL 尤其必须动手

以上只是参考用时,可以分多次完成,不用按这个时间赶进度。

🎯 一句话

这页练的是“用证据判断实现是否正确、改动是否有用”,不是照着教程制造一条预定曲线。

RL 可能没有报错却学不好,也可能在简单环境里出乎意料地学得很好。失败、成功、没有显著差别,都是需要记录的结果。

先选一站:表格法 → DQN;熟悉前两项后,再选 PPO 或 迷你 RLHF。后两项不是初次阅读必须同时完成的作业。

🧰 开工前:三条调试原则

先把“正确”和“效果好”分开检查。 单步目标、终止掩码、张量形状可用断言验证;最终表现还受环境、探索、预算与随机性影响。

  1. 先在小环境上跑通。 从能手算最优值的两步环境开始,再上 CartPole;直接上 Atari 很难区分实现错误与训练难度。
  2. 先固定种子复现,再换多个种子比较。 一个种子适合调试,不足以支撑普遍效果结论。记录环境、NumPy、PyTorch 等随机源;跨设备仍可能有差别。
  3. 画完整曲线,并单独评估冻结策略。 不只挑最好一次、不只报最后一个分数;保存失败运行与停止原因。

开跑前先写下比较口径

  • 版本与预算:环境 ID、包装、奖励定义、每次训练的环境步数、评估间隔、种子列表。
  • 公平比较:相同环境步预算与评估规则;同时报告梯度更新次数和耗时。组件会改变训练轨迹,不要求所有版本采到一模一样的数据。
  • 两层随机性:每个训练种子先跑多回合评估,得到该模型的平均回报;再比较不同训练种子的均值与离散程度。不能把所有回合混在一起冒充独立训练次数。
  • 探索口径:DQN 可用 ε=0 的贪心测试;PPO/语言模型需声明采样还是确定性选择,比较时保持一致。评估时冻结归一化统计,不继续训练。

本页练习可先用 3 个训练种子、每个模型 20 个独立评估回合做初查。 这是便于启动的预算,不是“3 个种子足以证明优劣”的定理。差异接近波动时,扩大样本或如实写证据不足。

误差带要标清是跨训练种子的标准差,还是均值的置信区间;它们不是同一个东西。参考RL 实验复现研究。

基础环境依赖:

pip install gymnasium numpy torch matplotlib

这条命令不包含所有挑战依赖。LunarLander 需要 Box2D,按官方环境说明安装;语言模型部分还需与你选定模型匹配的训练工具。先在独立环境中记录安装版本。

🥉 项目一:表格法三件套(参考 1 天)

目标:同一个小环境里,对照“知道规则的解法”和“靠采样学习的解法”。 对应第 4–7 章。

  • 参考用时 · 45 分钟

    • 实现 FrozenLake 风格环境或 5×5 格子世界。可先用现成环境核对接口,再写自己的转移。
    • 写清动作、边界、随机打滑概率、奖励和终止;手查一条普通转移、一条撞边界转移和一条终止转移。
  • 参考用时 · 60 分钟

    • 用 T1 的转移模型求价值和策略,以真实图形箭头展示策略,不用字符画。
    • 记录折扣、停止阈值和 Bellman 残差;说明这是数值近似解。
  • 参考用时 · 60 分钟

    • 从采样学习,画每回合累计奖励与环境步数的关系。
    • 另画关探索的评估回报,不把训练回报当成唯一效果指标。
  • 参考用时 · 45 分钟

    • 在同一环境、相同预算下对比;检查目标所用下一动作确实被执行。
  • 参考用时 · 45 分钟

    • 按下方统一规则比较带探索训练与贪心测试,保留路径图与掉落次数。
  • 参考用时 · 30 分钟

    • 保留 ε=0.01 / 0.1 / 0.3 / 线性衰减四组。为衰减组写清起点、终点与总步数。
    • 报告采样覆盖和回报,避免把探索不足误当作目标公式错误。

🎯 如何观察悬崖行走(T5)

先固定经典规则,再比较两种测试口径。 使用 4×12 棋盘,普通一步 −1,进悬崖 −100 并回起点、本轮继续,到目标才终止。路线图和解释见第 6 章。

  • 带探索的训练回报:固定非零 ε 时,SARSA 把探索代价计入目标,经典设置中通常更保守;不是每个种子都必然如此。
  • 关掉探索的贪心测试:充分学习后的 Q-learning 可沿贴边短路,训练时仍可能因探索掉落。
  • 风险边界:SARSA 不保证安全,也不保证唯一固定绕行路线。没有复现预想路线时,先查规则、探索与预算,再判断实现。

✅ 通关标准

  • 用同一折扣与环境比较价值迭代参照、学得的 Q 值和贪心回报;并列最优动作可以不同。
  • 能用目标公式解释两种算法的差别,并展示训练/测试两种口径。
  • 四组探索设置有真实曲线、覆盖记录和解释;不要求曲线按某个顺序排列。

单步验收要求手算一次更新,并解释一条轨迹。

🥈 项目二:DQN 打 CartPole(参考 1–2 天)

目标:逐项比较经验回放、目标网络和 Double DQN。 先通过第 8 章独立示例,再接入 CartPole。

  • 参考用时 · 60 分钟

    • 不加经验回放和目标网络;以停止梯度的单步自举目标更新同一个网络。
    • 记录是否学会、波动与失败,不故意调坏超参来让它崩溃。
  • 参考用时 · 60 分钟

    • 对照 T1,保持其余设定;记录随机抽批次对样本相关性和重复利用的影响。
  • 参考用时 · 45 分钟

    • 对照 T2;声明硬同步的计数单位,或明确软更新系数。
    • 同时验证冻结、停止梯度和同步确实发生。
  • 参考用时 · 45 分钟

    • 给出完整探索日程,用同样训练预算比较,不只看最后一次分数。
  • 参考用时 · 60 分钟

    • 在线网络选动作、目标网络评估,先通过目标计算单元测试。
    • 再在相同评估协议下比较回报与估值。
  • 参考用时 · 45 分钟

    • 冻结模型,选定同一组状态动作,按下方口径估计回报。
    • 记录高估、低估或证据不足,不以“必须高估”作为通关要求。

🎯 哪些数字能比较

没有一条保证成立的“朴素版 10 分、加补丁 400+ 分”曲线。 简单任务可能不加某个组件也学会;原来的这些数字不能当作已实测结果。

CartPole-v1 默认每步 +1、最多 500 步,单回合最多 500 分;这不是每次训练必然达到的分数。环境版本、奖励变体与时限见官方规则。

T6:先统一起点,再谈估值误差

  1. 固定模型与状态动作。 记录 Q(s,a),然后从同一个完整环境状态出发,第一步固定执行 a,以后执行该模型的冻结贪心策略。
  2. 重复 rollout 并计算折扣回报。 奖励处理、γ、终止口径要与训练目标一致。随机环境需要多次,不能只比一条轨迹。
  3. 说明参照是什么。 这样估计的是该冻结策略的 Q^π,不是已知的 Q;二者差异还可能包含策略尚不最优的差距。要严格检验对 Q 的高估,先用可精确求解的小 MDP。
  4. 说明截断尾巴。 如果训练对时限截断自举,评估却在时限处把尾部一律当 0,两边目标不同。要么验证完整回报,要么单列尾项估计及其误差;不要把自举尾项当成独立真值。

不能随便改一个观测数组就宣称“重置到了同一状态”。CartPole 需保存/恢复物理状态、包装器步数等;做不到时,先回到可控制的小环境验证。

一个尺度检查:若 γ=0.99、每步奖励 1、恰好 500 步后真正结束,折扣回报约为 99.343,而原始分数是 500。直接把 Q≈100 与 500 比较,会误判为严重低估。

✅ 通关标准

  • T1–T3 的单步更新与结束处理测试通过,组件和预算有记录;T1 不必崩溃。
  • 报告各版本多种子评估,达到自己预先设定的学习目标;例如平均 400 分可作练习门槛,但不是官方通用“已解决”证明。
  • T6 有相同状态动作与尺度的对照,并能说明参照和局限。没有稳定高估现象也可以给出合格报告。

🥇 挑战 A:从零实现 PPO(参考 3–4 天)

难度 ★★★★☆。目标是可核对的策略更新,不是先找两个“万能实现细节”。

    • 可用共享 backbone 加策略/价值两个头;检查离散动作概率和价值输出的形状。
    • 对照第 10 章,手算一条短轨迹。
    • 真正终止不自举;外部截断可自举,但优势递推不能穿过 reset 接到新回合。
    • 对照第 11 章,分别测试正、负优势及 ratio 超界的情况。
    • 旧 log 概率在本批更新内冻结;优化器方向与最大化/最小化约定一致。
    • 优势标准化、梯度裁剪、log 空间算 ratio、熵奖励、观测归一化、学习率退火。
    • 明确它们分别影响数值、探索或优化,不先假定每项都必需、总有正收益。
    • 先在 CartPole 测试,再在 LunarLander-v3 测试;记录版本、依赖、预算和评估规则。
    • 每次改一项,对比完整版本,先各跑 3 个训练种子;补全下表六项记录。
    • 数值计算方式用受控替代实现对照,不故意制造溢出来“证明算法有效”。
    • 保留 0.05 / 0.1 / 0.2 / 0.5 四组,其他设置固定。
    • 同时记录 KL、clip fraction、回报、更新轮数与停止原因。
    • 高斯策略跑 Pendulum。记录动作缩放/边界处理及对应 log 概率;不能忽略变换后概率的计算。

🎯 六项消融分别看什么

改变一项记录什么
优势标准化梯度尺度、回报与种子间波动
梯度裁剪裁剪前范数、被裁剪比例、非有限值
log 空间 ratio受控概率下数值等价;极小概率下误差与下溢
熵奖励熵、动作分布和回报,检查是否过早集中
观测归一化观测尺度、训练表现;评估统计是否冻结
学习率退火实际学习率、早期速度和后期稳定性

消融排名依赖环境与其余设置。 关闭一项的效果也可能与另一项相互作用,不能认定优势标准化和熵奖励在任何任务里都排前两名。参见实现细节研究。

T7:clip 不是硬 KL 上限

PPO-Clip 在裁剪区间外移除特定方向的额外优化激励,不会直接把每个概率比都锁在区间里,也不保证 KL 小于某个值。

所以 ε 变大不保证 KL 单调增大、训练单调变快;学习率、更新轮数、共享参数等也会影响结果。KL 早停是另加的控制措施,不是 clip 本身。参见PPO 官方说明。

✅ 通关标准

  1. 短轨迹 GAE、裁剪分支与终止/截断单元测试通过。
  2. 报告 LunarLander 的多种子评估;200 分可作本任务成绩参照,不用一次超过 200 宣称稳定通关。
  3. 六项消融和四组 ε 扫描都有记录;指出在你这组实验里哪些变化影响较大,或说明无法可靠区分。

结论边界:实现细节能显著影响比较,因此要控制变量;不能仅凭一个“提升 15%”数字断言论文只是在调工程技巧。

🥇 挑战 B:迷你 RLHF(参考 4–7 天)

难度 ★★★★★。目标:分清“偏好数据、代理评分、实际质量”这三件事。 对应第 12 章和第 13 章。

先选与数据语言匹配的小模型。GPT-2 small 可以作英文教学实验,但“普通 GPU 都能跑”没有统一保证:序列长度、优化器和同时驻留的策略/参考/RM/Critic 都会占显存。

先做短序列、小批次的运行检查,记录峰值显存。资源不足可先完成 SFT、RM 与 DPO,PPO 阶段另行继续;不把缺显存误当成不会算法。

1 · SFT(参考半天)

    • 选有使用许可的小指令集,按 prompt 分训练/留出;不要让同一 prompt 的近重复回答跨集合。
    • 保存 SFT 检查点与固定生成设置,作为后续对比起点和冻结参考。

2 · 奖励模型(参考 1–2 天)

    • 可以用“更长”或“更礼貌”等规则生成 chosen/rejected,但明确这是合成标签,不等于真实人类质量。
    • 随机化展示顺序,确保评估不是永远选第一个答案。
    • 用奖励分差训练 RM;在固定小批次上检查偏好方向与损失。
    • 报告成对准确率、样本量与 prompt 划分,分别看合成规则是否被学会和独立质量标准。
    • 无平局的平衡二选一猜测基线是 50%;略高于 50% 不等于可靠胜出。
    • 保留故意偏置标签的对照,固定内容质量后改变冗余长度,检查 RM 是否给更长版本更高分。
    • 没学到时检查数据、长度差和拟合程度;不要伪造一条应当出现的曲线。

3 · 对齐(参考 2–3 天)

    • 使用偏好对和固定参考策略;DPO 训练目标不要求先调用独立 RM,RM 留作可选评估器。
    • 在固定 prompt/回答对上,分别记录 chosen 与 rejected 的完整回答 log 概率和相对参考的偏好间隔。
    • 使用相同 tokenizer、掩码与 EOS 约定;prompt 和 padding 不算回答概率。
    • 使用策略、参考、RM 与 Critic,记录每条生成的任务奖励、KL 项和总优化目标。
    • 允许复用已有检查点,不要求把所有网络都复制成独立的大模型。
    • 从同一初始检查点出发,比较有/无 KL 惩罚;限制生成长度并保留输出样本。
    • 检查代理奖励优化是否损害独立质量,而不是把 β=0 等同于必然退化。
    • 保留奖励与 KL 两条曲线,并增加独立质量指标或盲评。
    • 标明 KL 的参考模型、采样方式及按序列/每 token 归一口径;横轴对齐,但不同量纲不要求曲线相交。
    • 相同起点、留出集与生成配置;报告质量、稳定性、总耗时、显存以及在线生成成本。
    • 说明是否把偏好数据和 RM 的准备成本计入,避免两个口径混比。

🎯 怎样解释观察结果

T4:长度偏好是一个可以检验的假设。 用内容相当、长度不同的配对测试,比“长度与奖励一起上涨”更能排除内容差异的影响。

T6:DPO 优化相对偏好,不保证 chosen 的绝对概率每步上涨。 但 chosen 下降也不是所有训练都必然出现,更不是通关凭证。

例如同一对固定回答,chosen 概率从 0.20 到 0.15,rejected 从 0.10 到 0.03:两者都下降,二者比值却从 2 到 5。参考策略固定时,偏好 log 间隔增加 log(2.5)≈0.916。这是相容的算例,不是本页声称实测的语言模型曲线。其余回答承担剩余概率。

T8:高 RM 分不等于高质量。 重复文本、高分短语、变长但无用等都是待检查现象;没有出现时,记录预算、输出和测量方式,不为复现攻击强行篡改标签或判分。

T9:KL 上涨只说明偏离参考,不直接证明奖励攻击。 改善质量也可能伴随 KL 增加;小 KL 也不是质量合格证明。需要代理分数与独立目标发生背离的证据。见奖励模型过度优化研究。

早停规则应预先写好,例如独立验证质量持续下降或触发资源/安全限制。不要用“奖励线与 KL 线分道扬镳的那个点”冒充跨指标的数学判据。

✅ 通关标准

  1. RM 留出评估有样本量、划分与基线;能区分“学会合成规则”与“评估真实质量”。
  2. T6 图有正确的概率口径与间隔计算;不要求绝对概率一定下降。
  3. β 对照、生成样本和独立质量检查齐全。没有复现奖励攻击时,说明能支持与不能支持的结论。
  4. 奖励、KL、质量随相同训练进度记录,早停标准明确;不要求存在所谓分叉点。
  5. DPO/PPO 比较交代成本边界,不能只挑某个最高奖励检查点。

奖励模型验收需要记录奖励模型的偏置,并用独立留出的数据检查评分器学到了什么。

📝 报告模板

报告可以长,但每块只回答一个问题。下列是报告栏目,不是要在终端执行的代码:

  1. 实验问题:我改变什么,想验证什么?
  2. 环境与预算:版本、奖励/终止定义、种子、训练步与评估协议。
  3. 实现正确性:单步算例、断言、输入输出检查。
  4. 结果:全程曲线、每种子结果、汇总统计及误差带定义。
  5. 消融/对照:控制了什么,没有控制什么?
  6. 失败或未出现的现象:实际观察、已排查项与剩余不确定性。
  7. 原先判断与证据:我原本以为什么,现在证据支持到哪一步?

🔗 这一章连到哪里

✅ 检查点

  1. 单种子调试和多种子比较分别能说明什么?
  2. 悬崖实验为何必须分训练探索与贪心测试?
  3. 朴素 DQN 没崩,是否意味着实验失败?
  4. 比较 Q 与实际回报,需要对齐什么?Q^π 是否就是 Q*?
  5. PPO 的六项消融为何不能预先认定固定前两名?
  6. clip ε 是否给出了硬 KL 上限?
  7. β=0 是否必然产生奖励攻击?需要什么证据?
  8. 奖励与 KL 同时上涨,能直接判断质量下降吗?
👀 答案
  1. 单种子帮助复现问题;多种子估计结果波动。种子少时仍要承认统计不确定性。
  2. 两种算法的目标不同,探索本身又会造成掉落;不能把在线训练与无探索策略混比。
  3. 不是。小任务可能学会;应检查更新、预算和比较协议,而不是制造崩溃。
  4. 同一状态动作、冻结后续策略、奖励尺度、折扣与尾部处理。rollout 估计 Q^π,不自动给出最优 Q*。
  5. 贡献依赖环境、预算和其他设置,也有交互;六项都要有对应观察与记录。
  6. 不是。裁剪目标移除部分激励,仍可能偏离较大;KL 早停需另外实现。
  7. 不必然。需要代理奖励与独立质量/行为的对照,不能只看超参或一条曲线。
  8. 不能。KL 衡量偏离参考,不是质量分;独立质量检查不可省略。

实验报告回顾

去附录 A查公式和配置,再回总目录。配置表是起点,不是每个环境都应照抄的答案。

先记住这四件事

  • 先测单步正确性,再判断完整训练效果。
  • 比较要统一预算、尺度和评估口径,保留全部种子。
  • 预期现象是待验证假设,没出现不等于任务失败。
  • 奖励、KL 与独立质量分开记录,不拿一个指标替代另一个。
打卡记录保存在你的浏览器里,首页能看到总进度