12 · RLHF 全流程
经典 RLHF 的依赖
例如,同一个问题有 A、B 两个答案。你更愿意选 A,却很难手写一个函数,自动给所有可能的答案准确打分。
经典做法是用比较训练奖励模型,再让语言模型尝试得到更高分。奖励模型是人的判断的代理。
🤔 一、为什么需要它
示范给出写法,比较提供取舍。 SFT 已能改善指令遵循;面对多个可行回答,还要看它们满足目标的程度。
| 已有训练 | 它提供什么信号 | 还缺什么 |
|---|---|---|
| 预训练 | 给定前文,预测后续 token | 这个续写是否符合当前用户的目标 |
| SFT(监督微调) | 提高优质示范回答的概率 | 没被选中的回答哪里更差、不同目标冲突时怎么取舍 |
| 偏好反馈 | 同一提示下,更偏好哪个回答 | 偏好是否可靠、能否推广到新问题。医学回答或长证明的比较仍可能昂贵。 |
| 怎样组合 | SFT 和偏好训练可以互补。这里讲 InstructGPT 式经典流程;其他对齐方案也可利用偏好数据。 | |
SFT 本身就能改善指令遵循,也能泛化到没见过的例子,不是只能复读示范。奖励模型的训练同样是监督学习;下一章的 DPO也能直接学习偏好对。
比较有时比从零写答案省力,但不是永远更容易、更便宜。 判断医学回答是否正确、长证明有没有漏洞,仍可能需要专业知识和大量时间。
“有帮助”“礼貌”也不是完全不能写进损失函数:难的是得到一个可靠、覆盖目标场景的监督信号,而不是这些词不能出现在数学里。
🏗️ 二、三个阶段
| 阶段 | 输入 | 产出和去向 |
|---|---|---|
| 监督微调(SFT) | 指令与优质示范回答 | 策略起点。它可以生成后续比较用的候选,也可冻结用作第 3 步的参考。 |
| 奖励模型(RM) | 同一提示的候选回答及人的比较或排序 | 能给“提示 + 回答”打标量分数的模型;作为第 3 步的评分器。 |
| 策略更新(PPO) | 当前策略生成的回答、冻结 RM 的得分及冻结参考模型的概率 | 从 SFT 起点更新策略。用独立评估检查是否更符合目标。SFT 或 RM 可以复用;也可收集新比较后迭代。 |
这是一次训练周期的依赖顺序。可以复用已有 SFT 或 RM,也可以收集新比较后迭代,不要求每次都从第一步重新开始。
🏆 三、阶段 2:奖励模型怎么训
同一提示下,让模型预测“标注者更愿意选谁”。
例如比较两份对量子纠缠的解释时,标注者可偏好更清楚、有类比且注明类比边界的回答,同时核查事实是否正确。后面的退款例会把这两条标准分开记录。
先定义一个差:
$$\Delta r=r(x,y_{win})-r(x,y_{lose})$$
x是同一条提示;y_win、y_lose分别是被选中与未选中的回答。r是奖励模型输出的分数。下标说的是这次标注的偏好,不是客观真假的判决。
Bradley–Terry 模型把分数差变成偏好概率:
$$P(win\succ lose\mid x)=\sigma(\Delta r)$$
一对样本的训练损失为:
$$L=-\log\sigma(\Delta r)$$
| 计算或判断 | 读数 |
|---|---|
| 分数差为 0 或 1 | 选中概率分别为 0.5 和约 0.731。训练推动被选回答的相对分数变高。标签仍可能有噪声,不能把每对分差都无限拉大。 |
| 给两个分数都加 100 | 同一提示的分数差与损失都不变。8 分不能读成 80% 正确;跨提示的绝对分数也未必可比。 |
可运行的小实验:只检查损失和梯度
下面需要 PyTorch。用两对人为设定的分数代替 RM 输出,保留真实训练中的 logsigmoid 损失;它不是一个已经训练好的文本奖励模型。
import torch
import torch.nn.functional as F
# 第一对:被选中的回答已经领先;第二对:它暂时落后。
r_win = torch.tensor([1.0, -0.5], requires_grad=True)
r_lose = torch.tensor([0.0, 0.5], requires_grad=True)
gap = r_win - r_lose
loss = -F.logsigmoid(gap).mean()
shifted = -F.logsigmoid((r_win + 100) - (r_lose + 100)).mean()
assert torch.allclose(loss, shifted)
loss.backward()
print("偏好概率:", [round(v, 3) for v in gap.detach().sigmoid().tolist()])
print("平均损失:", round(loss.item(), 6))
print("win 的梯度:", [round(v, 3) for v in r_win.grad.tolist()])
| 人为设定的两对分数 | 代码读数 |
|---|---|
| 偏好概率 | [0.731, 0.269] |
| 平均损失 | 0.813262 |
| win 梯度 | [−0.134, −0.366]。梯度下降提高 win 分数,暂时排错的第二对推动更大。真实训练还要把梯度传回 RM 参数。 |
⚠️ 奖励模型的三个真实问题
| 问题 | 为什么会发生 | 怎样检查 |
|---|---|---|
| 标注噪声与分歧 | 标准含糊、事实难判断,或不同人本来就有不同偏好 | 记录标注规范、分歧与复核方式;按提示分组划分训练/验证集 |
| 长度、格式等捷径 | 在数据中,“较长”碰巧与“更好”相关 | 匹配长度再比较;随机左右位置;检查短而正确的答案是否被低估 |
| 分布漂移 | 新策略产生的回答与训练 RM 时不同 | 用新策略回答做独立抽评,覆盖高分、低分与异常样本 |
| 评估口径 | 示例或限制 |
|---|---|
| 两名标注者是否同意 | InstructGPT 的训练标注者约为 72.6%,保留标注者约为 77.3%。这是该论文第 3.4 节的特定设置,70%–80% 不是统一的精度上限。 |
| RM 是否预测对 | 预测单个标签和预测多人共识要分别统计。RM 在原分布也可能有误差;反复优化会放大可利用的误差,验证集分数不足以证明优化后的质量。 |
要定位标注分歧,可检查同一人换顺序后是否改票。
换了显示顺序,标注者还选同一个回答吗?
奖励模型会从偏好对学习。假如两名标注者对同一条退款问题选了不同回答,先留住每个人选了谁、为什么选,再查他们是在权衡语气,还是对退款事实理解不同。数据 09 的试标与复核也把理由留给后续诊断。
本例所有回答、票和理由都是手设的。用 rubric-v1 先核对事实门槛,事实都过关时再比较表达是否清楚、是否得体。
| 核对项 | 给定内容 | 事实门槛 |
|---|---|---|
| 虚构店规 | 收货后 7 天内且未拆封才可按本规则退款。 | 两个条件都要满足。 |
| refund-02:A | “别担心,我来帮您!还在 7 天内,已经拆封也可以退。” | 不通过,忽略拆封条件。语气友好。 |
| refund-02:B | “已拆封,不符合该规则的退款条件。” | 通过,准确指出拆封限制。语气较生硬。 |
同人、同题、同指南,只交换左右。 记录端用“样本 ID:回答代号”固定回答身份,例如 refund-02:B;界面上只显示左右两份回答。R1、R2 独立提交,每轮都隐藏模型身份、其他人的票、自己先前的票和理由。初轮左 A 右 B,复轮左 B 右 A。两轮都用 rubric-v1,题和回答内容保持原样。
| 样本 | 初轮:左 A、右 B | 复轮:左 B、右 A | 稳定 ID 与后续复核 |
|---|---|---|---|
| refund-01 | R1 左(A):写明期限。 R2 左(A):说明未拆封。 | R1 右(A):写明期限。 R2 右(A):说明未拆封。 | AA → AA,一直一致。 |
| refund-02 | R1 左(A):语气友好,还在 7 天内。 R2 右(B):拆封限制准确。 | R1 左(B):按规则核查拆封。 R2 左(B):事实优先,接受短句。 | AB → BB。只有 R1 换了回答;核实 B 过事实门槛。 |
| refund-03 | R1 右(B):起算日准确。 R2 右(B):说明未拆封。 | R1 左(B):起算日准确。 R2 左(B):说明未拆封。 | BB → BB,一直一致。 |
| delivery-01 | R1 左(A):信息更简洁。 R2 右(B):语气更友好。 | R1 右(A):信息更简洁。 R2 左(B):语气更友好。 | AB → AB,两份配送承诺均核实准确;偏好仍有分歧,记为未决。 |
| 原始一致率 | 2/4(refund-01、refund-03) | 3/4(退款 3/3,配送 0/1) | 同一轮里,两人选同一个回答的样本数 ÷ 当轮样本数。 |
| 两轮改票 | 稳定回答 ID 只变了 1/8(4 题各 2 人)。误按位置比较会得到 7/8。 | 按同一题、同一个人配对。refund-02 的 R1 两次都按左,但 A 变成了 B。 | |
| 复核结论 | 按原指南核实事实、单记结论和理由,1 对未决。原票、理由、原始一致率和各组分母照原样保存。单回答事实门槛另录。 | 两轮均用同一版 rubric-v1。 | |
| 适用范围 | 四题和票据是手设的。重复作答有记忆和重新核对事实的影响,仅用来定位分歧,未测顺序的因果效应、真人一致率或模型表现。改指南后另取未见过且未讨论的新题,登记新版本和独立结果。 | ||
单回答二元反馈单独记在事实核查表里,例如 refund-02:A 不通过、refund-02:B 通过。成对偏好票回答的是“这一对选谁”,单回答门槛回答的是“这一份是否满足规则”。
依据:InstructGPT §3.4 的人工标注、附录 B.2 的指南、Chatbot Arena §3.1 的匿名配对。MT-Bench §3.3对模型评委交换顺序,这里仅借用检验方法。
用代码复算原始一致率和改票数
可直接运行以下 Python 3。先把每轮位置映射成回答 ID,再分别比较同轮的两人、两轮的同一人。最后单独打印未决记录和单回答反馈。
RUBRIC = "rubric-v1"
ORDERS = (("A", "B"), ("B", "A"))
RATERS = ("R1", "R2")
# 每条按 R1、R2 排列。0 表示左,1 表示右。
samples = [
("refund-01", "退款",
((0, "写明期限"), (0, "说明未拆封")),
((1, "写明期限"), (1, "说明未拆封"))),
("refund-02", "退款",
((0, "语气友好,还在 7 天内"), (1, "拆封限制准确")),
((0, "按规则核查拆封"), (0, "事实优先,接受短句"))),
("refund-03", "退款",
((1, "起算日准确"), (1, "说明未拆封")),
((0, "起算日准确"), (0, "说明未拆封"))),
("delivery-01", "配送",
((0, "信息更简洁"), (1, "语气更友好")),
((1, "信息更简洁"), (0, "语气更友好"))),
]
# 单回答评分与未决复核都有自己的记录,均保留指南版本。
binary_feedback = {
"rubric": RUBRIC, "criterion": "事实门槛",
"ratings": {"refund-02:A": False, "refund-02:B": True},
}
reviews = {
"delivery-01": {
"rubric": RUBRIC, "outcome": "未决",
"reason": "配送承诺均准确,简洁与友好仍有分歧",
}
}
ballots = ({}, {})
for sample, group, first, second in samples:
for round_idx, (order, votes) in enumerate(zip(ORDERS, (first, second))):
for rater, (side, reason) in zip(RATERS, votes):
ballots[round_idx][sample, rater] = {
"rubric": RUBRIC, "side": side, "order": order,
"answer_id": f"{sample}:{order[side]}", "reason": reason,
}
def agrees(round_votes, sample):
return (round_votes[sample, "R1"]["answer_id"]
== round_votes[sample, "R2"]["answer_id"])
first, second = ballots
original = [sum(agrees(votes, sample) for sample, *_ in samples)
for votes in ballots]
paired = [(before, second[key]) for key, before in first.items()]
flips = sum(before["answer_id"] != after["answer_id"]
for before, after in paired)
side_flips = sum(before["side"] != after["side"]
for before, after in paired)
assert original == [2, 3]
assert flips == 1, f"发现错误的改票统计:{flips}/{len(paired)}"
assert side_flips == 7
assert set(reviews) == {s for s, *_ in samples if not agrees(second, s)}
for round_idx, votes in enumerate(ballots, 1):
for (sample, rater), vote in votes.items():
print(round_idx, sample, rater, vote)
print(f"初轮原始一致 {original[0]}/{len(samples)}")
print(f"复轮原始一致 {original[1]}/{len(samples)}")
print(f"稳定 ID 改票 {flips}/{len(paired)}")
print(f"误把位置当回答的反例 {side_flips}/{len(paired)}")
for group in ("退款", "配送"):
members = [s for s, name, *_ in samples if name == group]
print(f"{group} {sum(agrees(second, s) for s in members)}/{len(members)}")
print("复核未决", *reviews)
print("复核记录", reviews)
print("单回答二元反馈", binary_feedback)
💀 四、奖励攻击(Reward Hacking)
奖励攻击的核心证据是:代理分数变高了,真正想要的结果却没有一起改善,甚至变差。
回答变长、频繁列清单、反复说“这是个好问题”、过度拒答、偏爱特定短语,都可以是检查线索。但长答案和 Markdown 列表本身并不是漏洞,需要结合任务质量判断。
| 观察 | 能得出的结论 | 还不能得出的结论 |
|---|---|---|
| RM 分数上升 | 策略更会获得这个 RM 的高分 | 人一定更喜欢、事实一定更正确 |
| 相对参考模型的 KL 上升 | 在规定口径下,策略偏离更大。记录参考模型、方向、采样策略及整句求和或 token 平均。 | 已发生奖励攻击。高 KL 加高奖励仍需独立质量证据;小 KL 也不保证质量或多样性。 |
| 高分回答在独立评估中变差 | 有代理目标被过度优化的证据 | 仅靠一个案例就知道所有原因 |
奖励模型过度优化的实验确实观察到这种偏离;其中“金标准 RM”也只是受控实验中的替身,不等于解决了真实人类评估。研究与设置
三道防线:约束、独立评估、补数据
1. KL 惩罚约束参考偏离;clip 用本批旧策略。
对一个提示 x,先定义参考距离:
$$K_x=D_{KL}\big(\pi_\theta(\cdot|x)\,\|\,\pi_{ref}(\cdot|x)\big)$$
再写优化目标:
$$J_x=\mathbb E_{y\sim\pi_\theta}[r(x,y)]-\beta K_x$$
这里 π_ref 常是冻结的 SFT 起点;β≥0 决定惩罚强度。它与 PPO 的新旧策略 clip 不是同一件事:旧策略用于本批更新,参考策略用于控制长期偏移。
KL 不是一堵确保不越界的墙。小 KL 也可能伴随差回答或多样性下降;KL 惩罚不能保证覆盖所有好回答,不能单独阻止 mode collapse。
2. 早停:事先约定独立质量指标,同时监控 KL。
保留没有参与训练与调参的提示,做人工盲评或可信的任务测试。记录正确性、有帮助性、拒答是否适当、长度与多样性。出现预先约定的退化时停下、回到检查点并排查;不要等 RM 分数自动下降。
KL 阈值可以作为运行保护线,但“奖励涨 + KL 大”不是奖励攻击的充分条件。记录方向、参考模型、采样策略,以及按整句求和还是按 token 平均;口径不同,数字不能直接比较。
3. 迭代式 RLHF:让反馈跟上新策略。
用新策略产生的回答补充比较,复核异常高分案例,再训练或更新 RM。保留独立评估集,不把测试题反复喂回训练;补数据可以改善覆盖,不会自动消除所有盲区。
到这里可以先停。下一节开始核对训练实现与工程成本。
🔧 五、阶段 3 的工程现实
先数角色,再算存储,不能看到“四个模型”就把 SFT 显存乘四。
图中上半是需要更新的策略与价值估计,下半是本轮冻结的参考与奖励模型。这是四种角色,不是规定四个同尺寸网络必须同时放在同一张卡上。
Critic 可以是单独的网络,也可以与策略共享一部分 backbone 加价值头;共享会改变梯度耦合和资源需求,不能一边声称共享,一边仍按两个完整副本算账。
| 细节 | 本章采用的常见设置 | 需要核对的边界 |
|---|---|---|
| 奖励位置 | 整句 RM 分数放在回答末尾,中间 token 可加入 KL 惩罚 | 过程奖励等方案可以在中途给分;padding 不能算成回答 token |
| 折扣 γ | 有限回答任务常设 1 | 表示不因答案较晚结束而额外折扣终局分数,不是因为所有文本回合都很短 |
| 优势估计 | PPO 可用 GAE,λ=0.95 可作为一个实验起点 | 不是规定值;要区分真实 EOS、外部截断与 rollout 边界,参见第 10 章 |
| KL 系数 β | 可以固定,也可以按目标 KL 自适应 | 目标值、统计单位与调整规则都要记录,不能把 β 当成质量保证 |
| 冻结角色 | 参考模型与本轮 RM 不更新参数 | 仍需权重和前向计算资源;分片、offload、量化会改变单卡峰值 |
如果最大生成长度就是任务结束规则,应按该任务处理结束与评分;如果只是采样被外部截断,要明确是否继续估值。不要把“没有 EOS 的半句话”悄悄当成自然完成的整句来训练。
🌱 六、变体与后续路线
先分清:谁提供奖励,和用什么算法更新,是两条不同的轴。
| 路线 | 改变了什么 | 保留的风险或成本 |
|---|---|---|
| RLAIF | 用 AI 提供偏好反馈;Constitutional AI 是一条相关路线 | 仍需人确定原则、抽查偏差,AI 判断也可能出错。Constitutional AI 同时包含监督和强化学习。 |
| DPO | 在标准离线训练中,直接用偏好对更新策略,不必显式训练 RM,也不用 PPO | 依赖偏好数据覆盖;详见第 13 章 |
| GRPO | 用同一提示的一组回答构造相对反馈,省去独立 Critic | 仍要采样、评分和处理组内差异;不是简单只看名次 |
| 过程监督 PRM | 给推理步骤反馈,不只评价最终答案 | 需要可靠步骤标注或评分器。PRM 在所引 MATH 实验胜过其结果监督基线,仍需在其他任务上验证。 |
| RLVR | 用答案核验、测试用例等可验证信号作奖励 | 验证器可能不完整、有错误或被利用;也有执行成本。RLVR 提供奖励,PPO 和 GRPO 都可以使用。 |
Constitutional AI 同时包含监督和强化学习阶段,不只是把人工按钮换成 AI 按钮。原论文
PRM 在 Let's Verify Step by Step 的 MATH 实验中优于其结果监督基线;这不是对所有数学、代码任务的保证。实验依据
RLVR 仍然要审查验证器
可验证,意思是能自动执行一个检查;不等于这个检查覆盖了全部真实要求。
例如,任务要求“返回任意整数的平方”,训练奖励却只测试输入 2:
| 候选实现 | 输入 2 的训练测试 | 另测输入 3 |
|---|---|---|
| 返回输入乘自身 | 得到 4,通过 | 得到 9,正确 |
| 永远返回 4 | 得到 4,也通过 | 得到 4,错误。多测一个输入才找到了这个高分坏解。 |
这不是一条实测模型训练曲线,而是一个可以手算的反例:弱测试允许高奖励的坏解。还要防止答案解析漏洞、数据泄漏、测试环境被修改等问题;执行不可信代码时,需要隔离环境和权限边界。
DeepSeek-R1-Zero 使用规则型正确性与格式奖励;这说明某些任务可以不用神经 RM,不说明规则无法被钻空子。DeepSeek-R1 的后续阶段还结合过不同类型的奖励。R1 论文 第 2.2–2.3 节
🧮 GRPO 展开:把 Critic 换成「同组同学的平均分」
GRPO 是一种更新算法,RLVR 是奖励来源;二者可以组合,但不能画等号。 GRPO 也能使用学出来的 RM,PPO 也能使用规则奖励。
组内优势:不训 Critic 也能算「比预期好多少」
回忆第 10 章:Critic 估计从当前状态出发的回报,用于构造优势。GRPO 的结果奖励版本换了做法:对同一个 prompt 采样 G 个完整回答,把它们放在同一组比较。
先算组均值:
$$\bar r=\frac1G\sum_{j=1}^{G}r_j$$
再用组内标准差 s_r 缩放:
$$\hat A_i=\frac{r_i-\bar r}{s_r+\epsilon_{num}}$$
ε_num 是防除零的小数,不是 PPO 的裁剪参数。采用总体标准差还是样本标准差、是否做这种缩放,都应与实现对应。本节小例子用总体标准差。
| 回答 | 奖励 | 减去均值 0.5 | 除以标准差 0.5(忽略很小的 ε_num) |
|---|---|---|---|
| A | 1 | 0.5 | 1 |
| B | 1 | 0.5 | 1 |
| C | 0 | −0.5 | −1 |
| D | 0 | −0.5 | −1 |
| 缩放口径 | 本例用总体标准差。小标准差会放大细小分差与噪声;回答优势不是逐 token 的真实优势或绝对质量。同分时任务优势为 0,KL 仍可更新;丢弃同分组会改变采样分布。 | ||
组内优势衡量相对表现。 结果奖励版本把同一回答优势用于各 token;这是组相对训练信号。
除以标准差是在改变训练权重,不是自动公平地消除题目难度。 小标准差会放大细小分差与噪声;G、奖励分布和长度归一化都会影响不同提示的贡献。原始 GRPO 的定义见DeepSeekMath 第 4.1 节。
边界:全组奖励相同时怎么办? 若全对或全错,分子全为 0,标准差也为 0;加正的 ε_num 后,任务优势为 0,直接相除则可能产生 NaN。此时没有组内任务奖励梯度,但若启用 KL 项,仍可能有 KL 更新。
丢弃零差异组、补采样或调整题目分布都是可选策略;丢弃会改变训练看到的提示分布,不能当成不影响目标的免费修复。G 可以尝试 8、16、64 等配置,但没有适合所有模型与任务的固定范围。
进阶核对:组均值含自身,未缩放的留一法推导
组均值包含本回答的奖励 r_i。改变本回答,均值也会改变,所以“来自同一个 prompt”不足以证明这个基线与当前回答无关。
留一法(leave-one-out)先排除自己:
$$b_{-i}=\frac1{G-1}\sum_{j\ne i}r_j$$
含自身均值的中心化,满足:
$$r_i-\bar r=\frac{G-1}{G}(r_i-b_{-i})$$
若固定同一 prompt、各回答独立来自同一策略、奖励不依赖其他回答,在不加标准差缩放与 clip 的普通策略梯度中,含自身均值会把留一法的期望梯度缩为原来的 (G−1)/G。例如 G=2 时是二分之一。
再除以依赖这组样本的标准差,影响就不再只是这个固定倍数。训练时通常还将已算出的优势作为常量使用,不沿奖励、均值或标准差反传。
所以应把 GRPO 称为组相对的更新方法,不要偷换成“和动作独立的 Critic 完全等价、严格无偏”。留一法的设置可对照 RLOO 论文 第 2.3 节。
KL 的位置和 PPO 不一样
这里比较的是常见的 PPO-RLHF 配方与原始 GRPO 配方,不是规定每个实现都必须这样放。
| 配方 | KL 放在哪里 | 对优势的影响 |
|---|---|---|
| 常见 PPO-RLHF | 把采样的 log 概率比惩罚加入 token reward,再算回报和 GAE | 优势包含任务奖励与偏离代价。旧策略负责本批更新的比率,参考策略提供 KL。 |
| 原始 GRPO | 组内优势由任务奖励构造,KL 作为另一个损失项 | 优势不掺 KL,但完整更新仍包含 KL 梯度。原始方案先按每个回答的有效 token 取平均,再对组与提示平均。 |
把一个 token 的策略比记为:
$$\rho_{i,t}=\frac{\pi_\theta(y_{i,t}\mid s_{i,t})}{\pi_{old}(y_{i,t}\mid s_{i,t})}$$
裁剪比值单独写:
$$c_{i,t}=\operatorname{clip}(\rho_{i,t},1-\varepsilon,1+\varepsilon)$$
每个 token 的目标项为:
$$\ell_{i,t}=\min(\rho_{i,t}\hat A_i,c_{i,t}\hat A_i)$$
最后,按所选规则对回答 token、回答与提示求平均:
$$L_{GRPO}=-\operatorname{平均}(\ell_{i,t})+\beta\operatorname{平均}(\hat k_{i,t})$$
这里 s_i,t 是提示加已生成前缀,旧策略负责本批采样,参考策略负责 KL。原始 GRPO 先对每个回答的有效 token 取平均,再对组与提示平均;换成全批 token 平均会改变长短回答的权重。
clip 不保证所有概率比始终在区间内,也不是对参考 KL 的硬约束。 在固定批次做多轮更新时,这两种距离都需另行监控。
非负 KL 样本值,不等于无条件无偏
先固定同一个前缀,把当前 token 分布记为 p,参考分布记为 q。对采到的 token a,定义:
$$u(a)=\frac{q(a)}{p(a)}$$
常见估计项是:
$$\hat k(a)=u(a)-\log u(a)-1\ge0$$
因为对正数 u 有 log u≤u−1,它的每个样本值非负。朴素的 log(p/q) 样本值可能为负;样本为负不等于真正的 KL 为负。
“它无偏”需要前提:token 确实来自当前分布 p,两分布在同一词表上均为正,概率和为 1。 这时:
$$\mathbb E_{a\sim p}[u(a)-1]=0$$
从而该项的期望等于 D_KL(p‖q)。这是估计数值的结论,不自动等于把固定样本送进自动微分就得到了正确的 KL 梯度。
看一个只有两个 token 的核对:
| 概率或统计量 | token A | token B |
|---|---|---|
| 当前 p | 0.8 | 0.2 |
| 参考 q | 0.5 | 0.5 |
| 非负样本项 k̂ | 约 0.0950 | 约 0.5837 |
| 对非负样本项按什么分布求均值 | 期望值 |
|---|---|
| 当前 p=(0.8, 0.2) | 约 0.1927,等于此例的真实 KL。这是当前 p 抽样下的数值结论。 |
| 另一分布 (0.5, 0.5),未经校正 | 约 0.3394。复用旧样本或截断采样需另核估计和梯度,样本非负也不保证低方差。 |
GRPO 会复用旧策略生成的回答,更新后当前策略已不同;采样温度、top-p 截断也可能改变采样分布。此时不能省略重要性校正与梯度定义,照搬“恒非负,所以无偏且更稳定”的结论。方差是否更低也没有无条件保证。估计与梯度的边界
KL 的定义、方向及与交叉熵的关系,可回到数学原理 01b。在本章固定写 D_KL(策略‖参考),避免仅靠“正向/反向”称呼猜测方向。
省了多少:一笔显存账
这笔账只算静态存储。
| 四个角色各 70 亿参数,不共享、不分片、不 offload、不量化。 | |
|---|---|
| 训练态的每参数存储(策略与 Critic) | 字节 |
| 低精度参数 | 2 |
| 低精度梯度 | 2 |
| FP32 主权重 | 4 |
| Adam 一阶状态 m | 4 |
| Adam 二阶状态 v | 4 |
| 合计 | 16 |
有些实现不保留这份 FP32 主权重,或用 FP32 梯度,所以不能把 16 当成所有训练系统固定配置。按本表,训练态约 112 GB,冻结态约 14 GB;这里 GB 是十进制 10^9 字节,不是 GiB。
| 方案 | 本算例的组成 | 静态总存储 |
|---|---|---|
| PPO + 独立 Critic + RM | 112 + 112 + 14 + 14(冻结参考与 RM 各 2 字节/参数) | 252 GB |
| GRPO + 神经 RM | 112 + 14 + 14 | 140 GB |
| GRPO + 规则验证器 | 112 + 14,不计验证器自身资源 | 126 GB |
| 从账上读什么 | 按本例计 |
|---|---|
| 省下独立 Critic | 少 112 GB,约省 44.4%。同配置 SFT 仅训练状态就要 112 GB,252/112=2.25。 |
| 未计入 | 激活、采样 KV cache、通信缓冲、临时张量。GB 按十进制计。实现若共享权重、分片、卸载或用小 Critic,实际资源会变化。 |
GRPO 省的是原配置中 Critic 的资源;如果本来共享 backbone 或用小 Critic,节省会不同。规则验证器是程序或工具,不应被算成一个同尺寸语言模型。
数字口径见 AI基础设施 03;降低实际峰值的方法见 09 · 显存优化与 11 · ZeRO / FSDP。
⚖️ PPO / DPO / GRPO 三方对比
先看数据与更新需求,再看设备预算;不要把算法名字当成固定采购清单。
| 比较项 | PPO-RLHF | 标准离线 DPO | GRPO |
|---|---|---|---|
| 主要角色 | 策略、Critic、参考、RM;共享或分离由实现决定 | 策略、参考;固定数据可预计算参考 log 概率 | 策略、参考、奖励来源;没有独立 Critic |
| 优势/反馈 | 价值估计与 GAE 构造优势 | 直接拟合偏好对,不必计算优势 | 同一提示的一组相对奖励 |
| 训练中在线生成 | 需要新的回答批次,每提示采几条可配置 | 标准离线训练步骤不生成新回答;准备数据仍有成本 | 每提示采 G 条,数量由实验配置 |
| 参考约束 | 常见做法是 reward 中加入 KL | 从 KL 正则化目标导出参考 log 概率比,β 参与损失 | 原始方案直接在损失中加入 KL |
| 可作为起点的场景 | 已有在线评分与价值训练方案 | 已有可靠偏好对,先建立简单基线 | 能给成组回答评分,希望省去 Critic |
| 论文实例 | InstructGPT;ChatGPT 是相关 RLHF 应用,不代表其历代内部配方都相同 | Zephyr等偏好训练实例 | DeepSeekMath、DeepSeek-R1 |
DPO 的“离线”只描述标准训练环节,不等于整个数据获取、筛选和评估免费。若参考固定且数据固定,可以预计算它的 log 概率,不必每一步都常驻一个完整参考网络。
| 采样预算固定什么 | 例子 |
|---|---|
| 固定每批 64 条不同提示 | 每提示从 1 条改成 16 条,回答数从 64 变 1024。 |
| 固定每批 1024 条回答 | 分组改变提示覆盖,回答总数保持 1024。耗时还取决于回答长度、吞吐和更新次数。 |
怎样开始选,而不是一次押对
先用三方对比表核对数据和预算,再选可评估的起点。
| 已有条件 | 先做什么 |
|---|---|
| 有可靠偏好对 | 先做 SFT / 离线 DPO 基线。也可评估第 13 章的拒绝采样,记入生成与筛选成本。 |
| 有可靠可验证奖励 | 先审计验证器,再比较 GRPO + RLVR 和其他在线策略梯度方法的学习收益。 |
| 需在线探索,奖励来自 RM | 比较 PPO、GRPO 或 RLOO 等能使用 RM 的方案。 |
| 还没有可信评估 | 先明确目标,补评估和数据。 |
GRPO 的资源权衡可以概括为:省 Critic,增加或重新分配组采样与评分工作。 是否划算,要按相同质量目标、总生成 token、训练耗时与峰值显存比较,不能仅凭 G=16 宣称“固定多付 15 倍”。
🧩 七、前 11 章的零件在这里的位置
| 零件 | 来自哪章 | 在 RLHF 里是什么 |
|---|---|---|
| MDP 建模 | 02 | 一种 token 级建模:状态为提示加前缀,动作为下一个 token |
| 回报与折扣 | 03 | 定义整句与中间奖励;有限回答任务可采用 γ=1 |
| 价值函数 | 03 | PPO 中的 Critic,不是所有偏好算法都有 |
| TD / GAE | 05、10 | 用于构造优势,必须处理回答边界 |
| 探索 | 07 | 温度、采样与熵等;更随机不等于必然更好 |
| 策略梯度 | 09 | 在线更新的基本工具 |
| Actor-Critic | 10 | PPO 配方中的策略与价值估计 |
| PPO + KL | 11 | 新旧策略更新控制,与参考约束分别记账 |
RLHF 是一种利用人类反馈的训练框架,不是与 PPO 并列的单一算法。 前面的零件在这里组合,但不是每个变体都必须保留全部零件。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 全景导论主线 4 · 它怎样从续写机变助手 | 这一步在预训练、SFT 与偏好优化中的位置 |
| AI基础设施 11 | 模型角色多时,怎样用分片、offload 等方法降低单卡负担 |
| 上线之后 15 | 奖励攻击与代理指标被过度优化的关系 |
| 数学原理 01b · KL 散度 | KL 的定义与方向;它不是质量或多样性的保证 |
| AI基础设施 03 · 显存与带宽墙 | 核对训练态、冻结态、GB / GiB 与激活显存的口径 |
| AI基础设施 09 | 梯度检查点、ZeRO、LoRA 与低比特优化器分别省什么;不能混用其字节账 |
✅ 检查点
- SFT 已经能改善指令遵循,为什么还可能需要偏好反馈?
- 经典 RLHF 三个阶段分别产出什么?第三阶段还会用到第一阶段的什么?
- 奖励模型的损失关心分数差还是绝对值?两个分数同时加 100 会怎样?
- 标注噪声、长度捷径、分布漂移分别是什么?70%–80% 是统一上限吗?
- 回答变长是不是奖励攻击的充分证据?还要检查什么?
- 三道防线是什么?为什么不能只用 KL 或 RM 分数决定质量?
- PPO 的四种角色是什么?为什么不能直接断言显存是 SFT 的四倍?
- GRPO 相比有独立 Critic 的 PPO 省了什么?252 GB 与 140 GB 的算例有哪些假设?
- 组内优势怎样计算?组均值包含自己的奖励吗?全组同分时怎么办?
- 原始 GRPO 的 KL 放在哪里?非负 KL 样本项什么时候无偏,什么时候不能直接这样说?
- PPO、DPO、GRPO 的模型角色与采样成本为什么不是固定倍数?怎样选起点?
- RLVR 为什么仍会遇到奖励漏洞?给一个验证器不完整的例子。
👀 答案
- SFT 学示范并能泛化;偏好对额外提供候选间的取舍。不是“监督学习不能对齐”,RM 训练本身也是监督学习。
- SFT 得到策略起点;比较数据训出 RM;在线优化更新策略。第三步还用 SFT 初始化策略,并常以冻结 SFT 作参考。
- Bradley–Terry 损失为 −log σ(Δr),关心同一提示下的分数差。共同加 100 不改变差与损失。
- 人可能出错或有不同偏好;RM 可能用长度代替质量;新策略可能离开 RM 的训练分布。特定标注者的一致率不是模型的统一精度上限。
- 不是。要看任务质量是否下降、代理奖励是否仍升高;长度、套话和格式只是线索。
- KL 惩罚、独立质量评估与早停、迭代补充反馈。KL 衡量规定口径下的偏离,RM 分数衡量代理目标,二者都不能单独证明回答更好。
- 策略与 Critic 要训练,参考与本轮 RM 冻结。角色可以共享、分离、分片或卸载;激活、优化器和缓存不同,所以没有固定四倍关系。
- 去掉独立 Critic 的训练资源。算例假设四角色都为 7B、不共享不分片,训练态 16 字节/参数、冻结态 2 字节/参数,并排除激活、KV cache 等。
- 奖励减组均值,再按所选实现除以标准差加 ε_num。均值包含自身,不能直接称动作无关。全组同分时任务优势为 0;加 ε 可防 NaN,KL 仍可能更新,丢组会改变采样分布。
- 原始 GRPO 直接把 KL 放进损失。u−log u−1 在 u>0 时非负;其无偏数值结论要求当前策略采样与对应支持集条件,复用旧样本、截断采样或计算梯度时需另行分析。
- DPO 标准离线训练不新生成回答,但数据不免费;PPO 每提示也可采多条;GRPO 组数、组大小与总 token 都要计入。依数据、可信奖励和资源做小基线,不按算法名下定论。
- 自动测试不等于完整规格。例如平方任务只测输入 2,永远返回 4 的坏程序也能拿满分;加测输入 3 才暴露错误。
练习:两次都选左,有没有改票?
refund-02 的 R1 两轮都选左。按稳定回答 ID,他改票了吗?复核后还能把初轮一致率记成 3/4 吗?如果改了指南,应该用哪一批题再验证?
查看答案
改了。初轮左边是 refund-02:A,复轮左边是 refund-02:B。初轮原始一致率仍是 2/4,3/4 属于复轮。复核结论另存,delivery-01 仍未决。新指南要登记版本,并在未见过、未参与讨论的新样本上独立记录结果。
本节回顾
回到开头的三阶段,核对原票、独立质量、显存口径和组采样:
- 给奖励模型的比较来自什么指南?未决项和原票是否保留?
- 策略优化以后,独立质量是否与奖励一起改善?KL 用什么口径?验证器覆盖了哪些目标?
- 按训练态、冻结态与缓存分别计数,静态存储和实际峰值还差哪些项?
- 改用组采样后,如何处理零差异组,并核对采样分布和估计前提?
下一节 👉 13-DPO与免RL对齐.md