🏠 总目录📚 本教程 13 · DPO 与免 RL 对齐 ← →

已有两条回答的偏好,怎样用它们训练模型?

  1. 从偏好对算 DPO 损失
  2. 用代码验证,再比较目标的变体
  3. 按反馈方式选择离线或在线训练

一句话 DPO 用偏好对直接训练策略,省去单独拟合奖励模型和在线 PPO 更新。

读完会做:从回答分数计算 DPO 和 SimPO 损失。

前置知识:条件概率、对数和 RLHF 流程。

📑 本页目录(点开跳转)

13 · DPO 与免 RL 对齐

⏱ 26 分钟 | ⭐ "能不能不用 RL"

这是参考用时,不是倒计时。想先知道怎么选,可以直接去方案选择;想亲手看损失怎样变化,去可运行的小实验。


DPO 怎样用偏好对

DPO 用已有的偏好对直接训练策略,不必单独拟合奖励模型再运行 PPO。它利用带 KL 正则目标与偏好模型之间的关系构造损失;不表示任意数据与训练设置下,DPO 和 PPO 的结果都相同。

例如,同一个问题有两份回答,标注者觉得 A 比 B 好。DPO 读取这份比较,调整模型对 A、B 的相对偏好;它不是把 A 当成“唯一正确答案”。

这一章回答三件事:它优化什么、它省掉什么、什么情况下值得选它。


DPO 的损失从哪来

偏好对的三个字段

一条记录包含同一个提示 $x$、较受偏好的完整回答 $y_w$(chosen),以及较不受偏好的完整回答 $y_l$(rejected)。

“较受偏好”只表示这次比较中的选择,不表示回答绝对正确。若 A、B 都答错,A 比 B 好也不能把 A 变成正确示范。

我们用 $\pi_\theta$ 表示正在训练的策略,$\pi_{\mathrm{ref}}$ 表示冻结的参考策略。后者是这轮训练的比较基准,不跟着每个优化步一起更新。

奖励与 KL 代价

先固定一个提示 $x$。沿用第 12 章的思想,考虑这个目标:

$$J(\pi)=\mathbb{E}_{y\sim\pi(\cdot|x)}[r(x,y)]-\beta K(\pi)$$

其中,当前策略与参考策略之间的反向 KL 为:

$$K(\pi)=D_{\mathrm{KL}}\!\left(\pi(\cdot|x)\,\|\,\pi_{\mathrm{ref}}(\cdot|x)\right)$$

第一项鼓励生成高奖励回答;第二项扣除偏离参考策略的代价。$\beta>0$ 决定这项代价的权重。对不同提示再取平均,就得到训练分布上的目标。

这是正则化目标,不是保证 KL 永远低于某个阈值的硬约束。反向 KL 也不等于“集中到一个模式完全不付代价”;多样性还取决于奖励、数据和优化过程。

由策略概率表示奖励

在奖励 $r$ 固定、$\beta>0$、归一化常数有限,而且允许在参考策略支持的回答范围内自由选择策略时,最优策略可以写成:

$$\pi^*(y|x)=\frac{\pi_{\mathrm{ref}}(y|x)}{Z(x)}\exp\!\left(\frac{r(x,y)}{\beta}\right)$$

读法分成三步:

  1. 参考概率给每个回答一个起点。
  2. 指数项按奖励重新加权。
  3. $Z(x)$把这些权重归一化,让所有回答的概率加起来是 1。

$Z(x)$ 就是上面所有“参考概率 × 指数项”的总和。这是理论上的最优解;有限数据、有限参数的神经网络不一定能精确达到它。

对这条式子取对数、整理,可把奖励写回:

$$r(x,y)=\beta\log\frac{\pi^*(y|x)}{\pi_{\mathrm{ref}}(y|x)}+\beta\log Z(x)$$

关键关系:奖励可以用策略相对参考策略的对数概率来表示。因此可以采用这种奖励参数化来拟合偏好,而不另建一个输出分数的 RM。

这里不是“任何策略天然知道人类想要什么”。偏好数据仍然告诉模型该往哪调;理论转换也仍然依赖上述条件。推导依据见 DPO 原论文的第 4 节与附录 A(HTML 全文);KL 的基础读法见数学原理 01b。

四个量算 DPO 损失

Bradley–Terry 模型用两个回答的奖励差来表示偏好概率。同一个提示下,两个 $\beta\log Z(x)$ 相减后抵消,不用真的枚举所有回答去计算它。

先算当前策略对两个回答的对数概率差:

$$d_\theta=\log\pi_\theta(y_w|x)-\log\pi_\theta(y_l|x)$$

再算参考策略中同样的差:

$$d_{\mathrm{ref}}=\log\pi_{\mathrm{ref}}(y_w|x)-\log\pi_{\mathrm{ref}}(y_l|x)$$

用二者的差构造偏好间隔:

$$m=\beta(d_\theta-d_{\mathrm{ref}})$$

最后,单条偏好记录的损失是:

$$\ell_{\mathrm{DPO}}=-\log\sigma(m)$$

$\sigma$ 是 sigmoid,$\sigma(m)$ 是这个模型对“chosen 胜过 rejected”的偏好概率。它不是 chosen 这整段文字被生成的概率。整批训练的 $L_{\mathrm{DPO}}$ 是各条 $\ell_{\mathrm{DPO}}$ 的平均值。

看一个数字:当策略刚好等于参考策略,$m=0$,于是偏好概率为 0.5、损失约为 0.693。若其他条件不变,$m$ 增大,这条记录的损失会减小。

训练会推动这个相对间隔改善,但共享参数下,不保证每一对、每一步都改善,更不保证 chosen 的绝对概率必然上升。

只给回答 token 计分

把完整回答拆成 token 后,它的对数概率是每一步对数概率的求和:

$$\log\pi_\theta(y|x)=\sum_{t=1}^{T}\log\pi_\theta(y_t|x,y_{<t})$$

  • 每一步都以提示 $x$ 和这个回答已经出现的前缀为条件;这是按已知回答计算概率,不是现场采样一份新回答。
  • 只对回答 token 计分,不把 prompt 和 padding 计入这个求和。
  • 本章以 EOS(结束标记)结束完整回答,EOS 也计分。真实聊天模板若用其他结束标记,要保持相同的完整回答边界,不能重复追加或漏掉结束符。
  • chosen、rejected 使用同一个提示、同一套 tokenizer 和聊天模板;策略与参考模型也必须在相同的 token 序列上比较。
  • 太长而被截断的回答只是前缀,不再是原来那条完整回答。要记录截断规则并检查偏好是否仍成立,不能静默截掉决定优劣的结尾。

标准 DPO 用求和;擅自改成“平均每个 token 的 logprob”会改变目标,不是无影响的代码简化。SimPO 的长度归一化属于后面介绍的另一种设计。作者实现中的回答计分和标签、EOS 处理可用于对照。

实现时先算当前模型的偏好差,再减去参考模型的偏好差。


实现与成本

CPU 上的一次更新

这段只依赖 PyTorch,不下载语言模型,也不调用外部服务。它用一个小型“上一个 token 预测下一个 token”的概率表,演示回答求和、冻结参考、DPO 损失、反向传播和一次更新。

两行数据共用提示 token 0、1。chosen 是“2、EOS”,rejected 是“3、4、EOS”;这里约定 EOS 为 5,尾部补齐位用 0。-100 是“不计入损失”的标签标记,不是词表里的 token。

import math
import torch
import torch.nn.functional as F

torch.set_num_threads(1)
torch.set_default_dtype(torch.float64)

def answer_logps(logits, labels):
    # 第 t 个位置的 logits 预测第 t+1 个 token。
    targets = labels[:, 1:]
    mask = targets.ne(-100)
    safe_targets = targets.masked_fill(~mask, 0)
    token_logps = logits[:, :-1].log_softmax(-1).gather(
        -1, safe_targets.unsqueeze(-1)
    ).squeeze(-1)
    # ⭐ 只对回答(含 EOS)求和;不平均长度。
    return (token_logps * mask).sum(-1)

def dpo_loss(policy_logps, ref_logps, beta=0.1):
    # 这份最小实验只有一对,顺序是 chosen、rejected。
    pi_logratio = policy_logps[0] - policy_logps[1]
    ref_logratio = ref_logps[0] - ref_logps[1]
    return -F.logsigmoid(beta * (pi_logratio - ref_logratio))

tokens = torch.tensor([
    [0, 1, 2, 5, 0],
    [0, 1, 3, 4, 5],
])
labels = torch.tensor([
    [-100, -100, 2, 5, -100],
    [-100, -100, 3, 4, 5],
])
# 6 行分别表示“看到某个 token 后”的下一个 token logits。
policy = torch.nn.Parameter(torch.zeros(6, 6))
reference = policy.detach().clone()  # ⭐ 冻结,不是跟着 policy 更新。
optimizer = torch.optim.SGD([policy], lr=1.0)

with torch.no_grad():
    ref_logps = answer_logps(reference[tokens], labels)

before = dpo_loss(answer_logps(policy[tokens], labels), ref_logps)
optimizer.zero_grad()
before.backward()
grad_norm = policy.grad.norm().item()
assert grad_norm > 0 and reference.grad is None
optimizer.step()

with torch.no_grad():
    after = dpo_loss(answer_logps(policy[tokens], labels), ref_logps)

assert math.isclose(before.item(), math.log(2), rel_tol=1e-10)
assert after < before
assert torch.equal(reference, torch.zeros_like(reference))
print(f"更新前损失: {before.item():.6f}")
print(f"梯度范数: {grad_norm:.6f}")
print(f"更新后损失: {after.item():.6f}")

先看这里:起点的两套概率完全一致,损失应为 $\log 2$;断言同时检查梯度确实存在、参考表未更新,以及这个特定例子的一步更新让损失下降。

这段 CPU 小实验的实跑结果(保留 6 位小数):

观察项 数值 说明
更新前损失 0.693147 策略与参考相同,偏好间隔为 0
梯度范数 0.106066 确实发生了非零反向传播
更新后损失 0.681952 本例这一步改善了训练目标,不代表真实问答质量

真实 Transformer 需要用完整前缀预测,不能用这个只看上一个 token 的表替代。还要传入正确的 attention mask;padding 不计入损失,不代表它一定不会影响模型的注意力计算。

多条偏好记录时,每一对分别得到一个损失,再对 batch 取平均。这个实验验证的是 DPO 核心与标签边界,不是完成语言模型对齐,更不是证明输出质量提高。

节省训练环节

对比项 PPO 式 RLHF 标准离线 DPO
常见逻辑角色 策略、参考、奖励模型、价值估计 策略、参考;训练损失不另拟合 RM 或 Critic
当前训练步需要生成新回答吗 通常要采样,再计算奖励和优势 直接读取已有偏好对,计算其 logprob
优化循环 采样、奖励、优势、策略/价值更新等 以偏好损失反向传播,工程环节较少
仍须调什么 学习率、采样、PPO 与 KL 等设置 学习率、$\beta$、batch、数据、长度与训练轮数
资源怎样估计 看角色是否共享参数、模型大小与采样开销 看训练参数、激活、回答长度、参考计分与缓存

“4 个角色变成 2 个角色”不等于显存恰好减半。PPO 的策略/价值网络可能共享底座;DPO 也要为 chosen 和 rejected 计算训练激活。冻结参考、预计算参考 logprob、LoRA、精度和并行方式都会改变资源账单。

DPO 核心损失很短,但一套可信训练还包括数据清理、模板、掩码、检查点和评测。环节更少,是更容易开始的理由;不是“就是监督学习,所以保证稳定”。


DPO 的局限

固定数据的覆盖范围

标准离线 DPO 在一轮训练中使用固定偏好数据。它不会自动去找尚未记录的新回答,也不会自动得到那些回答的优劣标签。

这不要求数据必须恰好来自当前策略。其他模型或人工写出的回答也可以用;关键是提示与任务是否匹配、回答是否有可学习的支持,以及这些比较有没有覆盖要改善的行为。

如果数据只比较“短句是否礼貌”,就不能仅凭训练损失下降断言模型已经更会写代码。可以补数据或重新采样形成下一轮偏好训练;这与“一直用最初那份离线数据”是不同的数据协议。

β 改变损失与梯度

在固定奖励的理想 KL 正则目标里,$\beta$ 控制偏离的代价。实际 DPO 中,$\beta$ 又出现在偏好间隔内,会一起改变损失和梯度。

因此,“$\beta$ 较小”不能推出“这次有限步训练的 KL 一定更大”,更不能推出“一定过优化”。还要看学习率、训练步数、数据和模型参数共享。

一个边界尤其容易混淆:把标准 DPO 损失中的 $\beta$ 直接设成 0,会让间隔恒为 0、损失恒为 $\log 2$,对策略的梯度也为 0。这不是 PPO 式 RLHF 中“去掉 KL 项继续最大化奖励”的操作。

单条回答的概率会下降

DPO 关心的是相对参考策略的偏好差,不要求每个 chosen 的绝对概率上升。看同一提示下的这个数学例子,不是训练实测曲线:

整段回答概率参考/起点某次更新后
chosen0.200.15
rejected0.100.03
其余回答合计0.700.82
chosen / rejected25

两个指定回答的概率都降了,但概率比从 2 变成 5,$d_\theta-d_{\mathrm{ref}}=\log(5/2)>0$。对任意固定 $\beta>0$,这对数据的 DPO 损失比起点更小。

0.82 转去了哪些回答,才决定这种变化意味着什么。可能是其他合理表述,也可能是错误输出。只盯着某句 chosen 的概率,不能诊断整个模型“更不自信”或“输出退化”。

要一起看留出提示上的偏好胜率、任务正确率、输出长度和实际样本。提高训练偏好间隔不是独立质量验收。

标签噪声与过拟合

偏好标签可能有错误、冲突或长度偏见;反复拟合有限偏好对也可能过拟合。显式 RM 本身同样会受这些问题影响,不能说“有 RM 就自动平滑、没有 RM 就必然照单全收”。

先按提示分组划分训练/验证集,检查重复样本与同题泄漏;再检查标注标准、长度分布和独立质量指标。需要时再考虑下面的噪声稳健目标,而不是把一个变体当成数据清洗的替代品。


DPO 的变体

这些名字不用一次背完。先看你遇到的是什么问题,再去看相应方法;它们不是一代代删除依赖、最终总有一个更好的统一路线。

换偏好目标:IPO

IPO 在其理论框架下改变偏好优化目标,避免把确定性的成对标签无止境地推向极端间隔。它不是只删掉一个模型,也不能据此保证所有任务上都比 DPO 好。原论文把恒等映射这个特例称为 Identity-PO。

IPO 的平方损失

沿用上面的四个量,把当前策略与参考策略的偏好差再相减,记成 $h$:

$$h=d_\theta-d_{\mathrm{ref}}$$

DPO 的单对损失是 $\ell_{\mathrm{DPO}}=-\log\sigma(\beta h)$。原始 IPO 的经验损失则对下面的平方项在偏好数据集上取平均:

$$\ell_{\mathrm{IPO}}=\left(h-\frac{1}{2\tau}\right)^2,\qquad \tau>0$$

这里用原论文的 $\tau$ 表示 IPO 正则强度,不把它与前文 DPO 的 $\beta$ 当成可直接照搬的同一个调参值。$h$ 没有再乘 $\beta$;回答 logprob 仍按完整回答的自然对数概率求和,不擅自改成逐 token 平均。给定 $\tau$,这一平方项的最低点在有限的 $h=1/(2\tau)$;$\tau$ 越大,目标间隔越小。

为什么是 1/(2τ),不是 1/τ?

原论文先写带 0/1 偏好指示的总体损失,再让同一条记录贡献正、反两个方向。利用反向间隔为 $-h$,单对贡献可整理为:

$$\frac12\left[(h-\tau^{-1})^2+h^2\right]=\left(h-\frac{1}{2\tau}\right)^2+\frac{1}{4\tau^2}$$

右边最后一项与策略参数无关,可以从训练目标中去掉。依据:IPO 原论文 v2 第 5.2 节,式 (16)–(17) 与算法 1。不能只拿正方向的目标 $1/\tau$,就把它当成最终经验损失。

越过目标间隔

教学算例:只看同一条 chosen–rejected 记录,取 IPO 的 $\tau=0.5$,所以目标间隔为 1;另取 DPO 的 $\beta=1$,方便复算。两列损失的尺度不同,不能用绝对数值大小给方法排名。

$h$IPO:$(h-1)^2$DPO:$\log(1+e^{-h})$
01约 0.693
10约 0.313
21约 0.127

从 1 拉到 2,这一条 IPO 平方损失反而升高;对固定 $\beta>0$,单条 DPO 损失随 $h$ 增大仍下降,只是推动幅度逐渐变小。这是在把 $h$ 单独当作可调标量时比较两个目标,不表示共享参数训练会让每一对都达到各自目标,也不表示真实 DPO 训练必然走向无限间隔。

再把例子缩到只有两个回答,参考概率各为 0.5:$h=1$ 对应当前策略概率约为 0.731 与 0.269,而不是百分之百选择 chosen。这只是归一化概率的手算,不是语言模型训练结果或胜率。

仍然需要什么:同提示的可靠偏好对、冻结参考策略,以及在被计分回答上有定义的有限 logprob;换平方目标没有去掉这些依赖,也不会自动纠正错误标签或补齐分布覆盖。原论文的采样与支持集条件不能由“式子能算”代替。选 $\tau$、检查噪声与过拟合时,沿用数据划分与标签检查及留出评测口径;不能由这个算例推成 IPO 必定更稳定或更优。

换数据形式:KTO

KTO 可以使用单个回答“可取 / 不可取”的二元反馈,不必每条都有 chosen–rejected 配对。它仍需要可靠标准;类别不平衡和反馈质量仍要处理。二元标签更易取得的场景可能降低成本,不是数据必然便宜很多。KTO 原论文

去掉参考模型:ORPO 与 SimPO

  • ORPO 把 SFT 的似然目标与基于 odds ratio 的偏好项结合,在同一训练目标中做指令学习和偏好优化;不需要独立参考模型。它不意味着“没有似然训练,只剩 DPO”。ORPO 原论文
  • SimPO 直接从当前策略的回答分数构造奖励,并加入目标间隔。长度归一化改变了计分方式,实际生成仍可能有长度偏好。SimPO 原论文

从 token 分数算 SimPO 损失

较长的回答有更多项参与对数概率求和。若每项取相同的负值,项数越多,总分越低。简单偏好优化(Simple Preference Optimization,SimPO)把总分除以计分 token 数,比较两条回答平均每步的自然对数概率。它只用当前策略计分,省去参考模型。

同一提示下,数据把短答标为 chosen、长答标为 rejected。表中的分数是为演示设定的当前策略 logprob。每组末项是已计入的 EOS(结束标记),提示与补齐位不计入。

同一提示下的演示。每列末项为 EOS,提示和补齐位不计分。依据:SimPO 式 (4)。
计分步骤短答(chosen)长答(rejected)
逐 token 分数−1,−3−1,−1,−2,−2
总分−1 − 3 = −4−1 − 1 − 2 − 2 = −6
每 token 平均−4 ÷ 2 = −2−6 ÷ 4 = −1.5

总分上短答的 −4 更高,平均后长答的 −1.5 更高。数据决定标签,当前策略给出的分数可以排反。归一化会改变排序,但不保证解决长度偏见。这个例子仍以短答为 chosen。

沿用成对比较的 sigmoid 损失。先取平均分差 −2 − (−1.5) = −0.5,再乘演示尺度 $\beta=2$ 并减目标间隔 $\gamma=0.5$,得到 sigmoid 的输入(logit)−1.5。最后照前面的做法取负对数,得到单对损失:

$$z=2[-2-(-1.5)]-0.5=-1.5,\qquad \ell=-\log\sigma(-1.5)=\log(1+e^{1.5})\approx 1.7014$$

一般地,令 $s_w$ 和 $s_l$ 分别为 chosen 与 rejected 的回答平均 logprob,每份回答至少有一个计分 token。把平均分乘尺度 $\beta>0$,就得到论文用来比较回答的隐式奖励。两个奖励相减,再扣除目标间隔 $\gamma$:

$$z=\beta(s_w-s_l)-\gamma,\qquad \ell=-\log\sigma(z)=\log(1+e^{-z})$$

$\gamma$ 在 logit 中直接扣除。固定两组分数时,增大它会压低 $z$、抬高损失。若本例去掉间隔,$z=-1$、损失约 1.3133。$\gamma=0.5$ 时,若想让 $z>0$,平均分差必须超过 $0.5/2=0.25$。这是单条分数的计算,实际训练效果要用留出题评测。依据:SimPO 式 (5)–(6)。

对照作者的 sigmoid 实现:gamma_beta_ratio 存的是 $\gamma/\beta=0.25$。先从 −0.5 减去 0.25,再乘 2,同样得到 −1.5。

用 Python 核对目标函数,不运行训练

把已选中的回答分数交给 mean_logprob,再把均分差交给 pair_loss。代码只计算目标函数,使用标准库,无需模型或训练数据。

import math


def mean_logprob(answer_scores):
    if not answer_scores:
        raise ValueError("每个回答至少需要一个已计分 token")
    return sum(answer_scores) / len(answer_scores)


def pair_loss(gap, beta, gamma):
    logit = beta * gap - gamma
    # 稳定计算 log(1 + exp(-logit)),避免指数溢出。
    loss = max(0.0, -logit) + math.log1p(math.exp(-abs(logit)))
    return logit, loss


chosen = (-1, -3)           # 最后一项已是 EOS 的 logprob
rejected = (-1, -1, -2, -2)
beta, gamma = 2.0, 0.5

chosen_mean = mean_logprob(chosen)
rejected_mean = mean_logprob(rejected)
gap = chosen_mean - rejected_mean
logit, loss = pair_loss(gap, beta, gamma)

assert (sum(chosen), sum(rejected)) == (-4, -6)
assert (chosen_mean, rejected_mean) == (-2.0, -1.5)
assert logit == beta * (gap - gamma / beta) == -1.5
assert math.isclose(loss, 1.7014132779827524)
zero_logit, zero_loss = pair_loss(gap, beta, 0.0)
assert zero_logit == -1.0 and math.isclose(zero_loss, 1.3132616875182228)
assert zero_loss < loss < pair_loss(gap, beta, 1.0)[1]
exercise_logit, exercise_loss = pair_loss(0.5, beta, gamma)
assert exercise_logit == 0.5 and round(exercise_loss, 4) == 0.4741
try:
    mean_logprob(())
except ValueError:
    pass
else:
    raise AssertionError("空回答必须报错")
print(f"均分 {chosen_mean:g} / {rejected_mean:g},logit {logit:g},损失 {loss:.4f}")

输出:均分 −2 / −1.5,logit −1.5,损失 1.7014。

试算:只把短答的分数改成 (−1, −1),损失往哪变?

短答的新平均分为 −1,长答仍为 −1.5。平均分差为 0.5,$z=2(0.5)-0.5=0.5$,从负变正。损失随 $z$ 增大而下降,这里约为 0.4741。两条数据标签保持原样。

应对噪声:cDPO 与 rDPO

cDPO 通过标签平滑,不把观察到的 chosen 当成百分之百可靠的赢家;作者实现用 label_smoothing 控制它。DPO 作者实现

rDPO 针对随机偏好翻转构造去偏损失;其理论保证有翻转率、策略参数化和数据覆盖等条件。它不是“任意类型、任意比例的脏标签都能修复”。rDPO 原论文

这三类方法的切入点分别是换目标、换数据、减少模型依赖。不同方向可以解决不同瓶颈,不必把所有变体都试一遍。


离线还是在线

有可靠偏好对:先试离线 DPO

如果已经有相关任务的高质量成对数据,又希望先控制工程复杂度,DPO 是值得比较的基线。先与原 SFT 模型比较,再看它是否真正改善了留出提示上的目标行为。

算力有限或缺少 RL 工程经验,是选择更简单起点的理由;不是“不做资源估算和评测”的理由。

若想比较同一批偏好对上的不同目标,可回看 IPO 的有限间隔与手算;仍按同一留出评测口径选方法。

有持续反馈:考虑在线更新

如果模型要不断生成候选,而你有能对这些新回答给出有效反馈的 RM、人工或验证器,那么 PPO / GRPO 等在线方法可以把这条反馈回路纳入训练。

这通常要求额外的采样预算、稳定的评估器和对奖励投机的检查。在线采样能发现候选,但不保证一定找到离线数据之外的好答案,也不保证最高上限。

有可验证奖励时怎样选

有可验证奖励,让在线探索更有吸引力;它不是在线 RL 的必要性证明。高质量推理示范可以做 SFT,生成后筛选的正确解也可以用于再训练,已有好坏解答可以做偏好优化。

例如 STaR 通过生成、筛选与监督微调来改进推理,已经足以反驳“提升推理只能用 PPO/GRPO”。这也不等于 STaR、DPO 与在线 RL 的效果在所有任务上相同。

所以应问:手上有什么反馈,缺的是覆盖、探索,还是数据质量?而不是用“偏好任务 / 推理任务”把方法一刀切。第 12 章的 RLVR / GRPO介绍的是可选训练路线,不是 DPO 永远无法涉及的能力范围。

固定评测口径

  1. 分开训练与评价:留出提示,不用训练时同一套自动评分器的升分作为唯一证据。
  2. 固定生成设置:长度上限、采样参数、模板、测试问题一致;偏好比较随机化答案位置。
  3. 算清成本:既可报告对齐阶段,也可报告含 SFT、数据生成、RM 准备的端到端成本,但不能把两个口径混用。
  4. 一起报告不确定性与副作用:样本量、不同训练种子、长度变化、正确率与安全性,而不只报一个胜率。

其他免 RL 路线

这里的“免 RL”指不用 PPO 一类在线策略梯度更新,不意味着无需采样、反馈、算力或风险评估。下面也特意区分“其中一个阶段免 RL”和“整套方法免 RL”。

拒绝采样与蒸馏

基本做法是:为提示生成若干候选,用 RM 或其他质量规则筛选,再把选中的回答当作 SFT 数据。可以按最高分选,也可以用阈值保留一组;需要明确自己的筛选规则。RAFT是奖励筛选后微调的研究例子。

它值得作为基线,是因为更新步骤熟悉、筛选结果可以直接查看。不是因为它保证拿到“RLHF 大部分收益”,也不是所有团队都必须按“拒绝采样 → DPO → PPO”升级。

区分两个位置:推理时生成 N 个再选最好的,不更新权重;把这些选中答案拿去训练,才是这里说的蒸馏。两者的生成成本和部署成本不同,RM 的偏见也可能被筛选放大。

Constitutional AI 的两个阶段

Constitutional AI 用书面原则指导 AI 的反馈。原始工作先让模型自我批评、修改回答,再用改好的回答做监督微调;这一部分可以不使用 RL。

但原论文还包含根据 AI 偏好训练奖励模型,再进行 RLAIF 的阶段。因此不能把完整 Constitutional AI 简写成一种“纯免 RL 算法”。“反馈来自谁”和“用哪种优化方法”是两个不同问题。Constitutional AI 原论文

上下文蒸馏

先让教师在较丰富的上下文中给出回答,再让学生在较简短的上下文下学习这些行为。它可以把一部分提示带来的行为差异转入参数,但不保证完整保留所有指令效果,也不能消除教师本来的错误。上下文蒸馏原始讨论

条件化训练依赖质量信号

把质量分或质量标签作为训练条件,让模型学习不同条件下的回答分布;推理时请求较高质量条件。它依赖质量信号和数据覆盖,“贴上高质量标签”本身不会创造正确内容。条件化训练研究


相关章节

想补哪一块 去哪里看
PPO 更新与 KL 的区别 第 11 章:PPO 的新旧策略比率不等于 DPO 的策略/参考比较
KL 为什么衡量分布差异 数学原理 01b · KL 散度:本章对数比的基础
偏好、Bradley–Terry 与奖励过优化 第 12 章:没有显式 RM,也仍需独立质量评价
可验证奖励与 GRPO 第 12 章:选择反馈回路,而不是把能力分成互不相通的两类
对齐的全景 全景导论第 12 章
DPO 在训练链中的位置 全景导论主线 4 · 它怎样从续写机变助手:先看 SFT、偏好对齐各自解决什么问题

检查点

  1. DPO 的核心洞察是什么?用一句话说。
  2. 闭式最优解在什么条件下成立,它反过来说明了什么?
  3. DPO 损失里的 $Z(x)$ 去哪了?
  4. DPO 相比 PPO 式 RLHF 省掉哪些环节?能否据此说显存减半?
  5. chosen 的绝对概率下降,为什么还能让这对数据的损失改善?这能否单独证明输出退化?
  6. KTO、ORPO、SimPO 各改变了什么依赖或目标?
  7. 什么需求让在线 PPO/GRPO 更值得考虑?“提升推理必须在线 RL”对吗?
  8. 拒绝采样为什么值得作为基线?Constitutional AI 为什么不能整体归为免 RL?
👀 答案
  1. 把带 KL 正则的奖励—最优策略关系代入偏好模型,得到可直接训练策略的损失;不需要另拟合显式 RM 再运行 PPO。
  2. 固定提示与奖励、$\beta>0$、归一化有限,并在参考策略支持内自由选择策略时,$\pi^*$ 与参考概率乘奖励指数成正比。反解得到“策略/参考的对数比加一个只依赖提示的常数”;参数化神经网络未必达到理想解。
  3. chosen 与 rejected 对应同一个提示,在 Bradley–Terry 的奖励差里,两个 $\beta\log Z(x)$ 抵消。
  4. 标准离线 DPO 的训练损失不用显式 RM、Critic、在线 rollout 和 PPO 更新环节;偏好数据生成、参考计分与评测仍有成本。角色数不是显存比例。
  5. 它的目标允许 chosen、rejected 都下降,只要相对参考的偏好差改善。例子中概率比从 2 变成 5;新增概率去了好答案还是坏答案,需要另外检查。
  6. KTO 使用单回答二元反馈;ORPO 将 SFT 与 odds-ratio 偏好项结合并去掉参考模型;SimPO 使用长度归一化 logprob 与目标间隔,并去掉参考模型。
  7. 希望对新生成候选持续获取有效反馈并更新,且有预算和可靠评分时,值得考虑在线方法。推理也可以通过示范、筛选再训练或离线偏好优化改善,没有“必须在线 RL”的一般结论。
  8. 筛选后 SFT 的步骤容易检查,但收益取决于候选覆盖和筛选质量。原始 Constitutional AI 同时包含监督微调和 RLAIF,不是整套免 RL。

本节回顾

⚡ 走神救援

先记住这几件事

  • DPO 直接学习偏好对,但比较的是相对参考策略的完整回答 logprob 差。
  • 工程环节更少,不等于显存必减半、训练必稳定或质量必改善。
  • chosen 概率与训练损失只是局部信号,最终要看留出问题上的实际回答。
  • 按数据、反馈与探索需求选方法;推理任务没有“必须在线 RL”的通用规定。

下一节 👉 14-RL在推荐与智能体里.md

打卡记录保存在你的浏览器里,首页能看到总进度