🏠 总目录📚 本教程 12 · RLHF 全流程 ← →

从偏好样本到策略更新,RLHF 的三个阶段怎样衔接?

  1. 监督微调(SFT):用示范得到起点
  2. 奖励模型(RM):复核偏好对,再训练评分
  3. 策略更新(PPO):用奖励更新,再独立检查质量

一句话:经典 RLHF 把人的比较学成奖励,再用奖励更新策略,回答质量还要独立验证。

读完会:辨三阶段、复核偏好、查奖励和成本。

先修:策略与价值估计、PPO。

📑 本页目录(点开跳转)

12 · RLHF 全流程

经典 RLHF 的依赖

例如,同一个问题有 A、B 两个答案。你更愿意选 A,却很难手写一个函数,自动给所有可能的答案准确打分。

经典做法是用比较训练奖励模型,再让语言模型尝试得到更高分。奖励模型是人的判断的代理。


🤔 一、为什么需要它

示范给出写法,比较提供取舍。 SFT 已能改善指令遵循;面对多个可行回答,还要看它们满足目标的程度。

已有训练 它提供什么信号 还缺什么
预训练 给定前文,预测后续 token 这个续写是否符合当前用户的目标
SFT(监督微调) 提高优质示范回答的概率 没被选中的回答哪里更差、不同目标冲突时怎么取舍
偏好反馈 同一提示下,更偏好哪个回答 偏好是否可靠、能否推广到新问题。医学回答或长证明的比较仍可能昂贵。
怎样组合SFT 和偏好训练可以互补。这里讲 InstructGPT 式经典流程;其他对齐方案也可利用偏好数据。

SFT 本身就能改善指令遵循,也能泛化到没见过的例子,不是只能复读示范。奖励模型的训练同样是监督学习;下一章的 DPO也能直接学习偏好对。

比较有时比从零写答案省力,但不是永远更容易、更便宜。 判断医学回答是否正确、长证明有没有漏洞,仍可能需要专业知识和大量时间。

“有帮助”“礼貌”也不是完全不能写进损失函数:难的是得到一个可靠、覆盖目标场景的监督信号,而不是这些词不能出现在数学里。

依据:InstructGPT 的训练方法。


🏗️ 二、三个阶段

① SFT监督微调人写的示范回答→ 教它「大概该长什么样」② 奖励模型学人的偏好人对 A/B 排序→ 训一个会打分的模型③ PPO用奖励优化策略模型生成 → RM 打分→ 策略梯度更新KL 惩罚:别离 SFT 太远降低偏离风险,不保证质量① 的模型同时作为 PPO 的「参照系」三个阶段,三种不同的数据,解决三个不同的问题⭐ 只有第③步是真正的强化学习 —— 前两步都是监督学习KL 与奖励分数不是质量证明,还需独立评估和验证。
看虚线:监督微调还给策略更新提供参考。前两步是监督学习,只有 PPO 是强化学习。依据:InstructGPT §3.5。
阶段输入产出和去向
监督微调(SFT)指令与优质示范回答策略起点。它可以生成后续比较用的候选,也可冻结用作第 3 步的参考。
奖励模型(RM)同一提示的候选回答及人的比较或排序能给“提示 + 回答”打标量分数的模型;作为第 3 步的评分器。
策略更新(PPO)当前策略生成的回答、冻结 RM 的得分及冻结参考模型的概率从 SFT 起点更新策略。用独立评估检查是否更符合目标。SFT 或 RM 可以复用;也可收集新比较后迭代。

这是一次训练周期的依赖顺序。可以复用已有 SFT 或 RM,也可以收集新比较后迭代,不要求每次都从第一步重新开始。


🏆 三、阶段 2:奖励模型怎么训

同一提示下,让模型预测“标注者更愿意选谁”。

例如比较两份对量子纠缠的解释时,标注者可偏好更清楚、有类比且注明类比边界的回答,同时核查事实是否正确。后面的退款例会把这两条标准分开记录。

先定义一个差:

$$\Delta r=r(x,y_{win})-r(x,y_{lose})$$

  • x 是同一条提示;y_win、y_lose 分别是被选中与未选中的回答。
  • r 是奖励模型输出的分数。下标说的是这次标注的偏好,不是客观真假的判决。

Bradley–Terry 模型把分数差变成偏好概率:

$$P(win\succ lose\mid x)=\sigma(\Delta r)$$

一对样本的训练损失为:

$$L=-\log\sigma(\Delta r)$$

计算或判断读数
分数差为 0 或 1选中概率分别为 0.5 和约 0.731。训练推动被选回答的相对分数变高。标签仍可能有噪声,不能把每对分差都无限拉大。
给两个分数都加 100同一提示的分数差与损失都不变。8 分不能读成 80% 正确;跨提示的绝对分数也未必可比。

可运行的小实验:只检查损失和梯度

下面需要 PyTorch。用两对人为设定的分数代替 RM 输出,保留真实训练中的 logsigmoid 损失;它不是一个已经训练好的文本奖励模型。

import torch
import torch.nn.functional as F

# 第一对:被选中的回答已经领先;第二对:它暂时落后。
r_win = torch.tensor([1.0, -0.5], requires_grad=True)
r_lose = torch.tensor([0.0, 0.5], requires_grad=True)
gap = r_win - r_lose
loss = -F.logsigmoid(gap).mean()

shifted = -F.logsigmoid((r_win + 100) - (r_lose + 100)).mean()
assert torch.allclose(loss, shifted)
loss.backward()

print("偏好概率:", [round(v, 3) for v in gap.detach().sigmoid().tolist()])
print("平均损失:", round(loss.item(), 6))
print("win 的梯度:", [round(v, 3) for v in r_win.grad.tolist()])
人为设定的两对分数代码读数
偏好概率[0.731, 0.269]
平均损失0.813262
win 梯度[−0.134, −0.366]。梯度下降提高 win 分数,暂时排错的第二对推动更大。真实训练还要把梯度传回 RM 参数。

⚠️ 奖励模型的三个真实问题

问题 为什么会发生 怎样检查
标注噪声与分歧 标准含糊、事实难判断,或不同人本来就有不同偏好 记录标注规范、分歧与复核方式;按提示分组划分训练/验证集
长度、格式等捷径 在数据中,“较长”碰巧与“更好”相关 匹配长度再比较;随机左右位置;检查短而正确的答案是否被低估
分布漂移 新策略产生的回答与训练 RM 时不同 用新策略回答做独立抽评,覆盖高分、低分与异常样本
评估口径示例或限制
两名标注者是否同意InstructGPT 的训练标注者约为 72.6%,保留标注者约为 77.3%。这是该论文第 3.4 节的特定设置,70%–80% 不是统一的精度上限。
RM 是否预测对预测单个标签和预测多人共识要分别统计。RM 在原分布也可能有误差;反复优化会放大可利用的误差,验证集分数不足以证明优化后的质量。

要定位标注分歧,可检查同一人换顺序后是否改票。

换了显示顺序,标注者还选同一个回答吗?

奖励模型会从偏好对学习。假如两名标注者对同一条退款问题选了不同回答,先留住每个人选了谁、为什么选,再查他们是在权衡语气,还是对退款事实理解不同。数据 09 的试标与复核也把理由留给后续诊断。

本例所有回答、票和理由都是手设的。用 rubric-v1 先核对事实门槛,事实都过关时再比较表达是否清楚、是否得体。

refund-02:收货第 4 天,商品已拆封,还能按店规退款吗?
核对项给定内容事实门槛
虚构店规收货后 7 天内且未拆封才可按本规则退款。两个条件都要满足。
refund-02:A“别担心,我来帮您!还在 7 天内,已经拆封也可以退。”不通过,忽略拆封条件。语气友好。
refund-02:B“已拆封,不符合该规则的退款条件。”通过,准确指出拆封限制。语气较生硬。

同人、同题、同指南,只交换左右。 记录端用“样本 ID:回答代号”固定回答身份,例如 refund-02:B;界面上只显示左右两份回答。R1、R2 独立提交,每轮都隐藏模型身份、其他人的票、自己先前的票和理由。初轮左 A 右 B,复轮左 B 右 A。两轮都用 rubric-v1,题和回答内容保持原样。

四题两轮均用 rubric-v1。左/右是原票,括号是稳定回答代号。
样本初轮:左 A、右 B复轮:左 B、右 A稳定 ID 与后续复核
refund-01R1 左(A):写明期限。
R2 左(A):说明未拆封。
R1 右(A):写明期限。
R2 右(A):说明未拆封。
AA → AA,一直一致。
refund-02R1 左(A):语气友好,还在 7 天内。
R2 右(B):拆封限制准确。
R1 左(B):按规则核查拆封。
R2 左(B):事实优先,接受短句。
AB → BB。只有 R1 换了回答;核实 B 过事实门槛。
refund-03R1 右(B):起算日准确。
R2 右(B):说明未拆封。
R1 左(B):起算日准确。
R2 左(B):说明未拆封。
BB → BB,一直一致。
delivery-01R1 左(A):信息更简洁。
R2 右(B):语气更友好。
R1 右(A):信息更简洁。
R2 左(B):语气更友好。
AB → AB,两份配送承诺均核实准确;偏好仍有分歧,记为未决。
原始一致率2/4(refund-01、refund-03)3/4(退款 3/3,配送 0/1)同一轮里,两人选同一个回答的样本数 ÷ 当轮样本数。
两轮改票稳定回答 ID 只变了 1/8(4 题各 2 人)。误按位置比较会得到 7/8。按同一题、同一个人配对。refund-02 的 R1 两次都按左,但 A 变成了 B。
复核结论按原指南核实事实、单记结论和理由,1 对未决。原票、理由、原始一致率和各组分母照原样保存。单回答事实门槛另录。两轮均用同一版 rubric-v1。
适用范围四题和票据是手设的。重复作答有记忆和重新核对事实的影响,仅用来定位分歧,未测顺序的因果效应、真人一致率或模型表现。改指南后另取未见过且未讨论的新题,登记新版本和独立结果。

单回答二元反馈单独记在事实核查表里,例如 refund-02:A 不通过、refund-02:B 通过。成对偏好票回答的是“这一对选谁”,单回答门槛回答的是“这一份是否满足规则”。

依据:InstructGPT §3.4 的人工标注、附录 B.2 的指南、Chatbot Arena §3.1 的匿名配对。MT-Bench §3.3对模型评委交换顺序,这里仅借用检验方法。

用代码复算原始一致率和改票数

可直接运行以下 Python 3。先把每轮位置映射成回答 ID,再分别比较同轮的两人、两轮的同一人。最后单独打印未决记录和单回答反馈。

RUBRIC = "rubric-v1"
ORDERS = (("A", "B"), ("B", "A"))
RATERS = ("R1", "R2")

# 每条按 R1、R2 排列。0 表示左,1 表示右。
samples = [
    ("refund-01", "退款",
     ((0, "写明期限"), (0, "说明未拆封")),
     ((1, "写明期限"), (1, "说明未拆封"))),
    ("refund-02", "退款",
     ((0, "语气友好,还在 7 天内"), (1, "拆封限制准确")),
     ((0, "按规则核查拆封"), (0, "事实优先,接受短句"))),
    ("refund-03", "退款",
     ((1, "起算日准确"), (1, "说明未拆封")),
     ((0, "起算日准确"), (0, "说明未拆封"))),
    ("delivery-01", "配送",
     ((0, "信息更简洁"), (1, "语气更友好")),
     ((1, "信息更简洁"), (0, "语气更友好"))),
]

# 单回答评分与未决复核都有自己的记录,均保留指南版本。
binary_feedback = {
    "rubric": RUBRIC, "criterion": "事实门槛",
    "ratings": {"refund-02:A": False, "refund-02:B": True},
}
reviews = {
    "delivery-01": {
        "rubric": RUBRIC, "outcome": "未决",
        "reason": "配送承诺均准确,简洁与友好仍有分歧",
    }
}

ballots = ({}, {})
for sample, group, first, second in samples:
    for round_idx, (order, votes) in enumerate(zip(ORDERS, (first, second))):
        for rater, (side, reason) in zip(RATERS, votes):
            ballots[round_idx][sample, rater] = {
                "rubric": RUBRIC, "side": side, "order": order,
                "answer_id": f"{sample}:{order[side]}", "reason": reason,
            }

def agrees(round_votes, sample):
    return (round_votes[sample, "R1"]["answer_id"]
            == round_votes[sample, "R2"]["answer_id"])

first, second = ballots
original = [sum(agrees(votes, sample) for sample, *_ in samples)
            for votes in ballots]
paired = [(before, second[key]) for key, before in first.items()]
flips = sum(before["answer_id"] != after["answer_id"]
            for before, after in paired)
side_flips = sum(before["side"] != after["side"]
                 for before, after in paired)
assert original == [2, 3]
assert flips == 1, f"发现错误的改票统计:{flips}/{len(paired)}"
assert side_flips == 7
assert set(reviews) == {s for s, *_ in samples if not agrees(second, s)}

for round_idx, votes in enumerate(ballots, 1):
    for (sample, rater), vote in votes.items():
        print(round_idx, sample, rater, vote)
print(f"初轮原始一致 {original[0]}/{len(samples)}")
print(f"复轮原始一致 {original[1]}/{len(samples)}")
print(f"稳定 ID 改票 {flips}/{len(paired)}")
print(f"误把位置当回答的反例 {side_flips}/{len(paired)}")
for group in ("退款", "配送"):
    members = [s for s, name, *_ in samples if name == group]
    print(f"{group} {sum(agrees(second, s) for s in members)}/{len(members)}")
print("复核未决", *reviews)
print("复核记录", reviews)
print("单回答二元反馈", binary_feedback)

💀 四、奖励攻击(Reward Hacking)

奖励攻击的核心证据是:代理分数变高了,真正想要的结果却没有一起改善,甚至变差。

回答变长、频繁列清单、反复说“这是个好问题”、过度拒答、偏爱特定短语,都可以是检查线索。但长答案和 Markdown 列表本身并不是漏洞,需要结合任务质量判断。

观察 能得出的结论 还不能得出的结论
RM 分数上升 策略更会获得这个 RM 的高分 人一定更喜欢、事实一定更正确
相对参考模型的 KL 上升 在规定口径下,策略偏离更大。记录参考模型、方向、采样策略及整句求和或 token 平均。 已发生奖励攻击。高 KL 加高奖励仍需独立质量证据;小 KL 也不保证质量或多样性。
高分回答在独立评估中变差 有代理目标被过度优化的证据 仅靠一个案例就知道所有原因

奖励模型过度优化的实验确实观察到这种偏离;其中“金标准 RM”也只是受控实验中的替身,不等于解决了真实人类评估。研究与设置

三道防线:约束、独立评估、补数据

1. KL 惩罚约束参考偏离;clip 用本批旧策略。

对一个提示 x,先定义参考距离:

$$K_x=D_{KL}\big(\pi_\theta(\cdot|x)\,\|\,\pi_{ref}(\cdot|x)\big)$$

再写优化目标:

$$J_x=\mathbb E_{y\sim\pi_\theta}[r(x,y)]-\beta K_x$$

这里 π_ref 常是冻结的 SFT 起点;β≥0 决定惩罚强度。它与 PPO 的新旧策略 clip 不是同一件事:旧策略用于本批更新,参考策略用于控制长期偏移。

KL 不是一堵确保不越界的墙。小 KL 也可能伴随差回答或多样性下降;KL 惩罚不能保证覆盖所有好回答,不能单独阻止 mode collapse。

2. 早停:事先约定独立质量指标,同时监控 KL。

保留没有参与训练与调参的提示,做人工盲评或可信的任务测试。记录正确性、有帮助性、拒答是否适当、长度与多样性。出现预先约定的退化时停下、回到检查点并排查;不要等 RM 分数自动下降。

KL 阈值可以作为运行保护线,但“奖励涨 + KL 大”不是奖励攻击的充分条件。记录方向、参考模型、采样策略,以及按整句求和还是按 token 平均;口径不同,数字不能直接比较。

3. 迭代式 RLHF:让反馈跟上新策略。

用新策略产生的回答补充比较,复核异常高分案例,再训练或更新 RM。保留独立评估集,不把测试题反复喂回训练;补数据可以改善覆盖,不会自动消除所有盲区。

到这里可以先停。下一节开始核对训练实现与工程成本。


🔧 五、阶段 3 的工程现实

先数角色,再算存储,不能看到“四个模型”就把 SFT 显存乘四。

四个模型并列参与不同任务;冻结与训练状态要分别计算显存。PPO 的四个模型角色训练中的模型策略模型 π:需要梯度价值模型 Critic:需要梯度冻结的模型参考模型:计算 KL奖励模型:提供分数
四个模型并列参与不同任务;冻结与训练状态要分别计算显存。

图中上半是需要更新的策略与价值估计,下半是本轮冻结的参考与奖励模型。这是四种角色,不是规定四个同尺寸网络必须同时放在同一张卡上。

Critic 可以是单独的网络,也可以与策略共享一部分 backbone 加价值头;共享会改变梯度耦合和资源需求,不能一边声称共享,一边仍按两个完整副本算账。

细节 本章采用的常见设置 需要核对的边界
奖励位置 整句 RM 分数放在回答末尾,中间 token 可加入 KL 惩罚 过程奖励等方案可以在中途给分;padding 不能算成回答 token
折扣 γ 有限回答任务常设 1 表示不因答案较晚结束而额外折扣终局分数,不是因为所有文本回合都很短
优势估计 PPO 可用 GAE,λ=0.95 可作为一个实验起点 不是规定值;要区分真实 EOS、外部截断与 rollout 边界,参见第 10 章
KL 系数 β 可以固定,也可以按目标 KL 自适应 目标值、统计单位与调整规则都要记录,不能把 β 当成质量保证
冻结角色 参考模型与本轮 RM 不更新参数 仍需权重和前向计算资源;分片、offload、量化会改变单卡峰值

如果最大生成长度就是任务结束规则,应按该任务处理结束与评分;如果只是采样被外部截断,要明确是否继续估值。不要把“没有 EOS 的半句话”悄悄当成自然完成的整句来训练。


🌱 六、变体与后续路线

先分清:谁提供奖励,和用什么算法更新,是两条不同的轴。

路线 改变了什么 保留的风险或成本
RLAIF 用 AI 提供偏好反馈;Constitutional AI 是一条相关路线 仍需人确定原则、抽查偏差,AI 判断也可能出错。Constitutional AI 同时包含监督和强化学习。
DPO 在标准离线训练中,直接用偏好对更新策略,不必显式训练 RM,也不用 PPO 依赖偏好数据覆盖;详见第 13 章
GRPO 用同一提示的一组回答构造相对反馈,省去独立 Critic 仍要采样、评分和处理组内差异;不是简单只看名次
过程监督 PRM 给推理步骤反馈,不只评价最终答案 需要可靠步骤标注或评分器。PRM 在所引 MATH 实验胜过其结果监督基线,仍需在其他任务上验证。
RLVR 用答案核验、测试用例等可验证信号作奖励 验证器可能不完整、有错误或被利用;也有执行成本。RLVR 提供奖励,PPO 和 GRPO 都可以使用。

Constitutional AI 同时包含监督和强化学习阶段,不只是把人工按钮换成 AI 按钮。原论文

PRM 在 Let's Verify Step by Step 的 MATH 实验中优于其结果监督基线;这不是对所有数学、代码任务的保证。实验依据

RLVR 仍然要审查验证器

可验证,意思是能自动执行一个检查;不等于这个检查覆盖了全部真实要求。

例如,任务要求“返回任意整数的平方”,训练奖励却只测试输入 2:

候选实现 输入 2 的训练测试 另测输入 3
返回输入乘自身 得到 4,通过 得到 9,正确
永远返回 4 得到 4,也通过 得到 4,错误。多测一个输入才找到了这个高分坏解。

这不是一条实测模型训练曲线,而是一个可以手算的反例:弱测试允许高奖励的坏解。还要防止答案解析漏洞、数据泄漏、测试环境被修改等问题;执行不可信代码时,需要隔离环境和权限边界。

DeepSeek-R1-Zero 使用规则型正确性与格式奖励;这说明某些任务可以不用神经 RM,不说明规则无法被钻空子。DeepSeek-R1 的后续阶段还结合过不同类型的奖励。R1 论文 第 2.2–2.3 节

🧮 GRPO 展开:把 Critic 换成「同组同学的平均分」

GRPO 是一种更新算法,RLVR 是奖励来源;二者可以组合,但不能画等号。 GRPO 也能使用学出来的 RM,PPO 也能使用规则奖励。

组内优势:不训 Critic 也能算「比预期好多少」

回忆第 10 章:Critic 估计从当前状态出发的回报,用于构造优势。GRPO 的结果奖励版本换了做法:对同一个 prompt 采样 G 个完整回答,把它们放在同一组比较。

先算组均值:

$$\bar r=\frac1G\sum_{j=1}^{G}r_j$$

再用组内标准差 s_r 缩放:

$$\hat A_i=\frac{r_i-\bar r}{s_r+\epsilon_{num}}$$

ε_num 是防除零的小数,不是 PPO 的裁剪参数。采用总体标准差还是样本标准差、是否做这种缩放,都应与实现对应。本节小例子用总体标准差。

回答 奖励 减去均值 0.5 除以标准差 0.5(忽略很小的 ε_num)
A 1 0.5 1
B 1 0.5 1
C 0 −0.5 −1
D 0 −0.5 −1
缩放口径本例用总体标准差。小标准差会放大细小分差与噪声;回答优势不是逐 token 的真实优势或绝对质量。同分时任务优势为 0,KL 仍可更新;丢弃同分组会改变采样分布。

组内优势衡量相对表现。 结果奖励版本把同一回答优势用于各 token;这是组相对训练信号。

除以标准差是在改变训练权重,不是自动公平地消除题目难度。 小标准差会放大细小分差与噪声;G、奖励分布和长度归一化都会影响不同提示的贡献。原始 GRPO 的定义见DeepSeekMath 第 4.1 节。

边界:全组奖励相同时怎么办? 若全对或全错,分子全为 0,标准差也为 0;加正的 ε_num 后,任务优势为 0,直接相除则可能产生 NaN。此时没有组内任务奖励梯度,但若启用 KL 项,仍可能有 KL 更新。

丢弃零差异组、补采样或调整题目分布都是可选策略;丢弃会改变训练看到的提示分布,不能当成不影响目标的免费修复。G 可以尝试 8、16、64 等配置,但没有适合所有模型与任务的固定范围。

进阶核对:组均值含自身,未缩放的留一法推导

组均值包含本回答的奖励 r_i。改变本回答,均值也会改变,所以“来自同一个 prompt”不足以证明这个基线与当前回答无关。

留一法(leave-one-out)先排除自己:

$$b_{-i}=\frac1{G-1}\sum_{j\ne i}r_j$$

含自身均值的中心化,满足:

$$r_i-\bar r=\frac{G-1}{G}(r_i-b_{-i})$$

若固定同一 prompt、各回答独立来自同一策略、奖励不依赖其他回答,在不加标准差缩放与 clip 的普通策略梯度中,含自身均值会把留一法的期望梯度缩为原来的 (G−1)/G。例如 G=2 时是二分之一。

再除以依赖这组样本的标准差,影响就不再只是这个固定倍数。训练时通常还将已算出的优势作为常量使用,不沿奖励、均值或标准差反传。

所以应把 GRPO 称为组相对的更新方法,不要偷换成“和动作独立的 Critic 完全等价、严格无偏”。留一法的设置可对照 RLOO 论文 第 2.3 节。

KL 的位置和 PPO 不一样

这里比较的是常见的 PPO-RLHF 配方与原始 GRPO 配方,不是规定每个实现都必须这样放。

配方 KL 放在哪里 对优势的影响
常见 PPO-RLHF 把采样的 log 概率比惩罚加入 token reward,再算回报和 GAE 优势包含任务奖励与偏离代价。旧策略负责本批更新的比率,参考策略提供 KL。
原始 GRPO 组内优势由任务奖励构造,KL 作为另一个损失项 优势不掺 KL,但完整更新仍包含 KL 梯度。原始方案先按每个回答的有效 token 取平均,再对组与提示平均。

把一个 token 的策略比记为:

$$\rho_{i,t}=\frac{\pi_\theta(y_{i,t}\mid s_{i,t})}{\pi_{old}(y_{i,t}\mid s_{i,t})}$$

裁剪比值单独写:

$$c_{i,t}=\operatorname{clip}(\rho_{i,t},1-\varepsilon,1+\varepsilon)$$

每个 token 的目标项为:

$$\ell_{i,t}=\min(\rho_{i,t}\hat A_i,c_{i,t}\hat A_i)$$

最后,按所选规则对回答 token、回答与提示求平均:

$$L_{GRPO}=-\operatorname{平均}(\ell_{i,t})+\beta\operatorname{平均}(\hat k_{i,t})$$

这里 s_i,t 是提示加已生成前缀,旧策略负责本批采样,参考策略负责 KL。原始 GRPO 先对每个回答的有效 token 取平均,再对组与提示平均;换成全批 token 平均会改变长短回答的权重。

clip 不保证所有概率比始终在区间内,也不是对参考 KL 的硬约束。 在固定批次做多轮更新时,这两种距离都需另行监控。

非负 KL 样本值,不等于无条件无偏

先固定同一个前缀,把当前 token 分布记为 p,参考分布记为 q。对采到的 token a,定义:

$$u(a)=\frac{q(a)}{p(a)}$$

常见估计项是:

$$\hat k(a)=u(a)-\log u(a)-1\ge0$$

因为对正数 u 有 log u≤u−1,它的每个样本值非负。朴素的 log(p/q) 样本值可能为负;样本为负不等于真正的 KL 为负。

“它无偏”需要前提:token 确实来自当前分布 p,两分布在同一词表上均为正,概率和为 1。 这时:

$$\mathbb E_{a\sim p}[u(a)-1]=0$$

从而该项的期望等于 D_KL(p‖q)。这是估计数值的结论,不自动等于把固定样本送进自动微分就得到了正确的 KL 梯度。

看一个只有两个 token 的核对:

概率或统计量 token A token B
当前 p 0.8 0.2
参考 q 0.5 0.5
非负样本项 k̂ 约 0.0950 约 0.5837
对非负样本项按什么分布求均值期望值
当前 p=(0.8, 0.2)约 0.1927,等于此例的真实 KL。这是当前 p 抽样下的数值结论。
另一分布 (0.5, 0.5),未经校正约 0.3394。复用旧样本或截断采样需另核估计和梯度,样本非负也不保证低方差。

GRPO 会复用旧策略生成的回答,更新后当前策略已不同;采样温度、top-p 截断也可能改变采样分布。此时不能省略重要性校正与梯度定义,照搬“恒非负,所以无偏且更稳定”的结论。方差是否更低也没有无条件保证。估计与梯度的边界

KL 的定义、方向及与交叉熵的关系,可回到数学原理 01b。在本章固定写 D_KL(策略‖参考),避免仅靠“正向/反向”称呼猜测方向。

省了多少:一笔显存账

这笔账只算静态存储。

四个角色各 70 亿参数,不共享、不分片、不 offload、不量化。
训练态的每参数存储(策略与 Critic)字节
低精度参数2
低精度梯度2
FP32 主权重4
Adam 一阶状态 m4
Adam 二阶状态 v4
合计16

有些实现不保留这份 FP32 主权重,或用 FP32 梯度,所以不能把 16 当成所有训练系统固定配置。按本表,训练态约 112 GB,冻结态约 14 GB;这里 GB 是十进制 10^9 字节,不是 GiB。

方案 本算例的组成 静态总存储
PPO + 独立 Critic + RM 112 + 112 + 14 + 14(冻结参考与 RM 各 2 字节/参数) 252 GB
GRPO + 神经 RM 112 + 14 + 14 140 GB
GRPO + 规则验证器 112 + 14,不计验证器自身资源 126 GB
从账上读什么按本例计
省下独立 Critic少 112 GB,约省 44.4%。同配置 SFT 仅训练状态就要 112 GB,252/112=2.25。
未计入激活、采样 KV cache、通信缓冲、临时张量。GB 按十进制计。实现若共享权重、分片、卸载或用小 Critic,实际资源会变化。

GRPO 省的是原配置中 Critic 的资源;如果本来共享 backbone 或用小 Critic,节省会不同。规则验证器是程序或工具,不应被算成一个同尺寸语言模型。

数字口径见 AI基础设施 03;降低实际峰值的方法见 09 · 显存优化与 11 · ZeRO / FSDP。

⚖️ PPO / DPO / GRPO 三方对比

先看数据与更新需求,再看设备预算;不要把算法名字当成固定采购清单。

比较项 PPO-RLHF 标准离线 DPO GRPO
主要角色 策略、Critic、参考、RM;共享或分离由实现决定 策略、参考;固定数据可预计算参考 log 概率 策略、参考、奖励来源;没有独立 Critic
优势/反馈 价值估计与 GAE 构造优势 直接拟合偏好对,不必计算优势 同一提示的一组相对奖励
训练中在线生成 需要新的回答批次,每提示采几条可配置 标准离线训练步骤不生成新回答;准备数据仍有成本 每提示采 G 条,数量由实验配置
参考约束 常见做法是 reward 中加入 KL 从 KL 正则化目标导出参考 log 概率比,β 参与损失 原始方案直接在损失中加入 KL
可作为起点的场景 已有在线评分与价值训练方案 已有可靠偏好对,先建立简单基线 能给成组回答评分,希望省去 Critic
论文实例 InstructGPT;ChatGPT 是相关 RLHF 应用,不代表其历代内部配方都相同 Zephyr等偏好训练实例 DeepSeekMath、DeepSeek-R1

DPO 的“离线”只描述标准训练环节,不等于整个数据获取、筛选和评估免费。若参考固定且数据固定,可以预计算它的 log 概率,不必每一步都常驻一个完整参考网络。

采样预算固定什么例子
固定每批 64 条不同提示每提示从 1 条改成 16 条,回答数从 64 变 1024。
固定每批 1024 条回答分组改变提示覆盖,回答总数保持 1024。耗时还取决于回答长度、吞吐和更新次数。

怎样开始选,而不是一次押对

先用三方对比表核对数据和预算,再选可评估的起点。

已有条件先做什么
有可靠偏好对先做 SFT / 离线 DPO 基线。也可评估第 13 章的拒绝采样,记入生成与筛选成本。
有可靠可验证奖励先审计验证器,再比较 GRPO + RLVR 和其他在线策略梯度方法的学习收益。
需在线探索,奖励来自 RM比较 PPO、GRPO 或 RLOO 等能使用 RM 的方案。
还没有可信评估先明确目标,补评估和数据。

GRPO 的资源权衡可以概括为:省 Critic,增加或重新分配组采样与评分工作。 是否划算,要按相同质量目标、总生成 token、训练耗时与峰值显存比较,不能仅凭 G=16 宣称“固定多付 15 倍”。


🧩 七、前 11 章的零件在这里的位置

零件 来自哪章 在 RLHF 里是什么
MDP 建模 02 一种 token 级建模:状态为提示加前缀,动作为下一个 token
回报与折扣 03 定义整句与中间奖励;有限回答任务可采用 γ=1
价值函数 03 PPO 中的 Critic,不是所有偏好算法都有
TD / GAE 05、10 用于构造优势,必须处理回答边界
探索 07 温度、采样与熵等;更随机不等于必然更好
策略梯度 09 在线更新的基本工具
Actor-Critic 10 PPO 配方中的策略与价值估计
PPO + KL 11 新旧策略更新控制,与参考约束分别记账

RLHF 是一种利用人类反馈的训练框架,不是与 PPO 并列的单一算法。 前面的零件在这里组合,但不是每个变体都必须保留全部零件。


🔗 这一章连到哪里

去哪 为什么
全景导论主线 4 · 它怎样从续写机变助手 这一步在预训练、SFT 与偏好优化中的位置
AI基础设施 11 模型角色多时,怎样用分片、offload 等方法降低单卡负担
上线之后 15 奖励攻击与代理指标被过度优化的关系
数学原理 01b · KL 散度 KL 的定义与方向;它不是质量或多样性的保证
AI基础设施 03 · 显存与带宽墙 核对训练态、冻结态、GB / GiB 与激活显存的口径
AI基础设施 09 梯度检查点、ZeRO、LoRA 与低比特优化器分别省什么;不能混用其字节账

✅ 检查点

  1. SFT 已经能改善指令遵循,为什么还可能需要偏好反馈?
  2. 经典 RLHF 三个阶段分别产出什么?第三阶段还会用到第一阶段的什么?
  3. 奖励模型的损失关心分数差还是绝对值?两个分数同时加 100 会怎样?
  4. 标注噪声、长度捷径、分布漂移分别是什么?70%–80% 是统一上限吗?
  5. 回答变长是不是奖励攻击的充分证据?还要检查什么?
  6. 三道防线是什么?为什么不能只用 KL 或 RM 分数决定质量?
  7. PPO 的四种角色是什么?为什么不能直接断言显存是 SFT 的四倍?
  8. GRPO 相比有独立 Critic 的 PPO 省了什么?252 GB 与 140 GB 的算例有哪些假设?
  9. 组内优势怎样计算?组均值包含自己的奖励吗?全组同分时怎么办?
  10. 原始 GRPO 的 KL 放在哪里?非负 KL 样本项什么时候无偏,什么时候不能直接这样说?
  11. PPO、DPO、GRPO 的模型角色与采样成本为什么不是固定倍数?怎样选起点?
  12. RLVR 为什么仍会遇到奖励漏洞?给一个验证器不完整的例子。
👀 答案
  1. SFT 学示范并能泛化;偏好对额外提供候选间的取舍。不是“监督学习不能对齐”,RM 训练本身也是监督学习。
  2. SFT 得到策略起点;比较数据训出 RM;在线优化更新策略。第三步还用 SFT 初始化策略,并常以冻结 SFT 作参考。
  3. Bradley–Terry 损失为 −log σ(Δr),关心同一提示下的分数差。共同加 100 不改变差与损失。
  4. 人可能出错或有不同偏好;RM 可能用长度代替质量;新策略可能离开 RM 的训练分布。特定标注者的一致率不是模型的统一精度上限。
  5. 不是。要看任务质量是否下降、代理奖励是否仍升高;长度、套话和格式只是线索。
  6. KL 惩罚、独立质量评估与早停、迭代补充反馈。KL 衡量规定口径下的偏离,RM 分数衡量代理目标,二者都不能单独证明回答更好。
  7. 策略与 Critic 要训练,参考与本轮 RM 冻结。角色可以共享、分离、分片或卸载;激活、优化器和缓存不同,所以没有固定四倍关系。
  8. 去掉独立 Critic 的训练资源。算例假设四角色都为 7B、不共享不分片,训练态 16 字节/参数、冻结态 2 字节/参数,并排除激活、KV cache 等。
  9. 奖励减组均值,再按所选实现除以标准差加 ε_num。均值包含自身,不能直接称动作无关。全组同分时任务优势为 0;加 ε 可防 NaN,KL 仍可能更新,丢组会改变采样分布。
  10. 原始 GRPO 直接把 KL 放进损失。u−log u−1 在 u>0 时非负;其无偏数值结论要求当前策略采样与对应支持集条件,复用旧样本、截断采样或计算梯度时需另行分析。
  11. DPO 标准离线训练不新生成回答,但数据不免费;PPO 每提示也可采多条;GRPO 组数、组大小与总 token 都要计入。依数据、可信奖励和资源做小基线,不按算法名下定论。
  12. 自动测试不等于完整规格。例如平方任务只测输入 2,永远返回 4 的坏程序也能拿满分;加测输入 3 才暴露错误。

练习:两次都选左,有没有改票?

refund-02 的 R1 两轮都选左。按稳定回答 ID,他改票了吗?复核后还能把初轮一致率记成 3/4 吗?如果改了指南,应该用哪一批题再验证?

查看答案

改了。初轮左边是 refund-02:A,复轮左边是 refund-02:B。初轮原始一致率仍是 2/4,3/4 属于复轮。复核结论另存,delivery-01 仍未决。新指南要登记版本,并在未见过、未参与讨论的新样本上独立记录结果。


本节回顾

回到开头的三阶段,核对原票、独立质量、显存口径和组采样:

  1. 给奖励模型的比较来自什么指南?未决项和原票是否保留?
  2. 策略优化以后,独立质量是否与奖励一起改善?KL 用什么口径?验证器覆盖了哪些目标?
  3. 按训练态、冻结态与缓存分别计数,静态存储和实际峰值还差哪些项?
  4. 改用组采样后,如何处理零差异组,并核对采样分布和估计前提?

下一节 👉 13-DPO与免RL对齐.md

打卡记录保存在你的浏览器里,首页能看到总进度