12 · RLHF 全流程

⏱ 44 分钟 ｜ ⭐ 前 11 章的零件在这里全部就位

🎯 一句话

RLHF 解决一个具体的困难：有些"好"你写不出评分函数。 「这个回答有帮助吗」「这段话礼貌吗」—— 没法写成损失函数。 那就让人来比较，用比较训一个模型来打分，再用 RL 去优化那个分数。

🤔 一、为什么需要它

🏗️ 二、三个阶段

↓ 三个阶段严格按顺序进行：上一阶段的产出，就是下一阶段的输入。

🏆 三、阶段 2：奖励模型怎么训

数据长这样：

损失函数（Bradley–Terry 模型）：

$$L = -\log\sigma\big(r(x, y_{win}) - r(x, y_{lose})\big)$$

💡 人话翻译：

让"好回答的分"减去"差回答的分"尽量大。 注意它只关心分数的差，不关心绝对值 —— 所以打出来的分数没有绝对含义。

# 🧩 骨架：rm 是你训好的奖励模型，这里只看损失长什么样
# 奖励模型的训练核心就这两行
import torch.nn.functional as F
r_win, r_lose = rm(prompt, chosen), rm(prompt, rejected)
loss = -F.logsigmoid(r_win - r_lose).mean()

⚠️ 奖励模型的三个真实问题

🔑 第三点是 RLHF 最本质的困难： 奖励模型只在它见过的分布上准。 PPO 优化得越狠，模型越会跑到 RM 的盲区， 那里的分数是不可信的 —— 这直接导致下面的奖励攻击。

💀 四、奖励攻击（Reward Hacking）

三道防线：

💡 第 ② 条是实践中最有用的一条经验： 奖励分数上涨不代表模型变好。 真正该监控的是 「KL 散度」和「人工抽样评估」 —— 前者告诉你跑多远了，后者告诉你是不是真的更好。

🔧 五、阶段 3 的工程现实

几个关键的工程细节：

🌱 六、变体与后续路线

🔑 RLVR 值得特别注意： 当奖励是可自动验证的客观事实（单元测试通过、数学答案正确）时， 奖励模型的所有问题都消失了 —— 没有标注噪声、没有长度偏好、无法钻漏洞。 这就是近年推理模型训练的主流方向。

🧮 GRPO 展开：把 Critic 换成「同组同学的平均分」

表格里 GRPO 那一行值得单独展开 —— 因为跑 RLVR 的那个算法通常就是 GRPO（DeepSeek-R1 正是这个组合）。

组内优势：不训 Critic 也能算「比预期好多少」

先回忆 Critic 在干什么（第 10 章）：它是一个基线，回答「这个状态本来大概能拿多少分」， 用实际回报减掉它得到优势 A，目的是降方差。

GRPO 的做法直接得多：

💡 为什么这样就能替代 Critic：优势的本质是「减掉一个与当前动作无关的基线」。 Critic 是「学」出来的基线，组内均值是「采」出来的基线。 ⭐ 关键前提：这 G 个回答来自同一个 prompt，所以它们的"预期得分"确实是同一个数 —— 这个基线才合法。

除以 std 是在拉平题目难度：简单题一组都在 0.9 附近、难题都在 0.1 附近，减完均值差异都只有 ±0.03； 不除 std，梯度会被"难度适中"的那批 prompt 主导，除完之后每个 prompt 的贡献才相当。

⚠️ 一个必须处理的边界：一组回答全对或全错时 std = 0 → 优势全是 0（或除零成 NaN），这个 prompt 白采了 G 次。 实现里要么加 eps，要么整组丢弃。⭐ 这条使 GRPO 对题目难度分布很敏感：题太简单或太难，大量组是"零梯度组"，采样算力全打水漂。

KL 的位置和 PPO 不一样

$$L_{GRPO} \;=\; -\,\mathbb{E}\big[\text{裁剪过的策略比}\times\text{组内优势}\big] \;+\; \beta\, D_{KL}(\pi_\theta \,\|\, \pi_{ref})$$

⭐ 而且它的 KL 估计式也不是朴素那个：$-\log(\pi_{ref}/\pi_\theta)$ 的单样本估计会取到负值、方差还大，GRPO 改用

$$\hat D_{KL} = \frac{\pi_{ref}}{\pi_\theta} - \log\frac{\pi_{ref}}{\pi_\theta} - 1 \;\;\ge\; 0$$

恒非负、且仍然无偏 —— 小改动，但让 KL 直接进损失时稳定得多。

🔗 KL 散度本身（定义、为什么不对称、和交叉熵/最大似然的关系）在 数学原理 01b · KL 散度。 ⭐ 那一章还解释了一件和本章直接相关的事：KL 惩罚是反向 KL，所以它拴得住模型别跑飞，却拦不住 mode collapse。

省了多少：一笔显存账

去掉 Critic，省的不是"四分之一"，而是四个模型里最贵的那一类 —— 一个要训练的、和策略同尺寸的模型。

🔗 这些数字的来历见 AI基础设施 03 · 显存与带宽墙（16 字节/参数怎么拆出来的、7B → 112 GB 就是那条经验公式）； 怎么把它省下来见 09 · 显存优化全家桶、11 · ZeRO 与 FSDP。

⚖️ PPO / DPO / GRPO 三方对比

🔑 一句话选型： 有现成偏好对、只想调风格和有帮助性 → DPO（第 13 章；先试拒绝采样更省）。 答案能自动验证（单元测试跑通、数学答案对） → GRPO + RLVR：奖励免费、没有 RM 可钻，组内标准化还天然处理了"题目难度不一"。 必须在线探索、而奖励只能靠 RM → PPO。

💡 GRPO 省的是显存，花的是采样：G=16 意味着每一步要多生成 15 份回答。 ⭐ 它把「训一个 Critic」的成本换成了「多采 15 份样本」的成本 —— 在推理吞吐便宜、而 Critic 又难训（长序列上的价值估计本来就很不准）的场景下，这笔交易划算。

🧩 七、前 11 章的零件在这里的位置

🔑 这就是把 RL 放进这套教程的理由： RLHF 不是一个新算法，是前 11 章零件的一次组装。

🔗 这一章连到哪里

✅ 检查点

1. 为什么监督学习解决不了"对齐"？关键的转念是什么？
2. RLHF 的三个阶段分别产出什么？
3. 奖励模型的损失函数是什么？它只关心什么？
4. 奖励模型的三个真实问题？哪个最本质？
5. 奖励攻击有哪些典型表现？
6. 三道防线是什么？实践中最有用的监控指标是什么？
7. PPO 阶段要装几个模型？分别是什么？
8. GRPO 相比标准 PPO 省了什么？
9. GRPO 的组内优势怎么算？为什么"组内均值"可以当基线用？为什么还要除以 std？
10. GRPO 的 KL 放在哪，和 PPO 有什么不同？这样做有什么好处？
11. PPO / DPO / GRPO 各要几个模型、各要采几次样？什么时候该选哪个？
12. RLVR 为什么能消除奖励攻击？

🛑 可以停在这里

⚡ 走神救援

⭐ RLHF 解决的是「有些好你写不出评分函数」。 ⭐ 关键转念：让人写出满分答案又难又贵，让人比较两个答案哪个好则容易、便宜、一致性还高。

三阶段是 SFT、奖励模型、PPO。奖励模型只关心分数差不关心绝对值。它有三个问题：标注噪声就是精度天花板、⭐ 长度偏好（标注者爱选长的，模型于是变啰嗦）、⭐ 分布漂移——RM 只在见过的分布上准，而 PPO 优化越狠越往盲区跑，那里的分数不可信。💀 于是有奖励攻击：越来越长、疯狂用列表、开头必说套话、过度谨慎。

三道防线里最该记的一条：⭐ 盯 KL 散度而不是奖励分数来早停——奖励涨不代表模型变好。

⭐ 工程现实：PPO 阶段要同时装四个模型，显存是 SFT 的几倍——这就是 RLHF 昂贵的直接原因。

⭐ 变体里 RLVR 最重要：用可验证的奖励（单测通过、数学答案正确），奖励模型的全部问题一次性消失，也无法钻漏洞，这是近年推理模型训练的主流方向。

⭐ GRPO 去掉 Critic 的道理：同一个 prompt 采一组回答，组内标准化直接当优势——优势的本质就是减掉一个与动作无关的基线，Critic 是「学」出来的，组内均值是「采」出来的。⭐ 前提是这一组必须来自同一个 prompt，预期得分才是同一个数。⚠️ 一组全对或全错时标准差为零、优势全为零，这个 prompt 白采了一整组。

⭐ KL 的位置也不同：PPO 把它加进奖励（要经优势估计搅拌），GRPO 直接加在损失上，于是优势是纯粹的「回答好不好」。

选型：调风格和有帮助性用 DPO；答案能自动验证用 GRPO 加 RLVR；必须在线探索而奖励只能靠 RM 才用 PPO。💡 ⭐ GRPO 省的是显存、花的是采样——把「训一个 Critic」换成了「多采十几份样本」。

下一节 👉 13-DPO与免RL对齐.md