🏠 总目录📚 本教程 01b · KL 散度 ← →

01b · 从问题进入原章节

交叉熵、负对数似然与 KL 何时指向同一优化目标?

交叉熵可拆为目标分布的熵加 KL;只有目标分布固定、经验分布和标签条件说清时,相关优化目标才可以对应。

读后可检查:能指出前向与反向 KL 各由哪个分布加权,并说明 one-hot 例子的适用条件。

📑 本页目录(点开跳转)

01b · KL 散度:交叉熵的真身

🎯 一句话

KL 衡量的是:按一个分布加权,另一个分布与它有多不匹配。顺序不同,得到的数值可以不同。

用编码理解时:若消息来自 P,却按 Q 设计理想码长,KL 是平均多付的编码长度。下面先算数字,再解释它与交叉熵、最大似然的联系。

KL 散度的几个辨析

使用场景 KL 在其中的角色
PPO / TRPO TRPO 用它约束新旧策略差异;PPO 的具体目标另有定义
RLHF 某些目标在奖励外加入相对参考策略的 KL 惩罚
蒸馏 让学生的预测分布接近固定老师
R-Drop 约束同一输入两次 dropout 后的预测差异

先看清谁在前面、谁在后面,以及当前优化的是哪个分布。不能把“用了 KL”理解成“效果与原因都相同”。

🌀 一、直觉:用错码本要多付多少比特

假想天气分布为晴 80%、阴 15%、雨 5%。你却按三种天气各占三分之一来设计理想码长。

量 约多少比特 / 条 它表示什么
熵 H(P) 0.88 按真实分布计算的平均理想码长
交叉熵 H(P,Q) 1.58 按 Q 计算码长、但按 P 统计出现频率
KL(P‖Q) 0.70 后者比前者多出的部分,约增加 79%

看最后一行:多出的开销来自分布不匹配。这里用的是理想码长或长序列编码的平均解释,不是说单独一天能直接发送 0.88 个二进制位。

📐 定义

$$D_{KL}(P\|Q)=\sum_x P(x)\log_2\frac{P(x)}{Q(x)}$$

先对每个结果比较 P 与 Q,再用 P 的概率作权重相加。

也可写成期望:$D_{KL}(P\|Q)=\mathbb{E}_{x\sim P}[\log_2(P(x)/Q(x))]$。“从 P 采样”决定了加权方式。

用 $\log_2$ 时单位是比特;自然对数 $\ln$ 对应 nat。换底会改变数值尺度,组合多个损失或设置阈值时也要同步处理。

四条性质,以及一个容易误读的地方

性质 注意条件
KL ≥ 0,等号在 P = Q 时成立 单个求和项可以为负;非负的是总和
一般不对称 两个方向可能恰好相等,但不能默认相等
不满足三角不等式 不是数学意义上的距离度量
离散情形下,P(x)>0 而 Q(x)=0,会使 KL(P‖Q)=∞ P(x)=0 时该项约定为 0;不能由此说任意改变 Q 都“免费”

概率总和必须为 1。把 Q 的概率移到某个位置,会改变其他位置。一个位置的项为零,不代表总 KL 不变。

⚖️ 二、非对称到底意味着什么:前向 KL vs 反向 KL

把 P 固定成 (0.5, 0.5),比较不同 Q,全部使用以 2 为底的对数:

Q KL(P‖Q) KL(Q‖P)
(0.5, 0.5) 0 0
(0.99, 0.01) 约 2.33 比特 约 0.92 比特
(1, 0) ∞ 1 比特,不是 0

最后一格是 $1\times\log_2(1/0.5)=1$;第二个位置的零项没有让总惩罚消失。

记忆法:看谁负责加权

比较项 前向 KL(P‖Q) 反向 KL(Q‖P)
由谁加权 P Q
哪种情况会得到无穷大 P>0 但 Q=0 Q>0 但 P=0
受限模型中常见的近似倾向 覆盖 P 的多个高概率区域 避开 P 的低概率区域,可能偏向某个峰
不能推出什么 任意模型一定产生“平均脸” 丢掉一个峰没有惩罚,或模型一定塌缩

当 Q 的可选范围能包含 P 时,两个方向都在 Q=P 处达到 0。图里的区别依赖“Q 无法完整表达 P”这一条件,而不是 KL 的无条件命令。

灰色虚线 = P(真实分布,两个峰) 橙色实线 = Q(只有一个峰的模型)前向 KL:min KL(P ‖ Q)最大似然 / 交叉熵在最小化的那个反向 KL:min KL(Q ‖ P)此图仅示意受限的单峰近似单峰 Q 较宽:同时覆盖两个峰单峰 Q 较窄:集中于一个峰mode-covering(宁滥勿缺)mode-seeking(宁缺勿滥)
看橙线的宽度与位置:当 Q 被限制为单峰、P 有相隔较远的两个峰时,两种方向可能偏好不同近似。这是行为示意,不是精确求解的密度曲线,也不表示遗漏另一个峰的总 KL 为零。

三种应用,不能只靠方向就下结论

观察到的现象 可以检查什么 不应直接断言
语言模型回答过于雷同 数据、模型能力、训练目标与解码设置 一定由前向 KL 导致
变分近似低估不确定性 近似分布族、KL 方向与优化结果 每个 VAE 后验都只保留一个峰
RLHF 后输出多样性下降 奖励、KL 系数、熵、样本覆盖与训练变化 KL 对概率集中完全不罚,或已经排除实现问题

变分近似的方向差异,可对照Stanford CS228 讲义;讲义也明确区分“近似族能否包含目标分布”。

在带 KL 正则的奖励优化中,奖励可能鼓励集中,KL 则对偏离参考策略收取代价。最终变化取决于二者的权衡,不能只看一个方向。可参照 InstructGPT 的训练目标。

参考策略给某输出极小概率,与奖励模型是否见过它不是严格等价的。实际语言模型常对大量序列给正概率,“支撑集之外”不应被当作所有分布外问题的代名词。

🔁 三、三个说法,什么时候对应同一个目标?

本节先固定目标分布 P,只优化模型 Q。这样才有“相差一个常数”的关系。

第一步:交叉熵 = 熵 + KL

$$H(P,Q)=H(P)+D_{KL}(P\|Q)$$

前面的天气例子就是 1.58 ≈ 0.88 + 0.70,差异来自显示时的四舍五入。

展开推导:加一项,再减同一项

$$H(P,Q)=-\sum_x P(x)\log Q(x) =-\sum_x P(x)\log P(x)+\sum_x P(x)\log\frac{P(x)}{Q(x)}$$

右边第一项是熵 H(P),第二项是 KL。P 固定且这些量有限时,H(P) 不随 Q 的参数变化。

固定 P 时,两者有相同的优化目标,但数值不必相同;梯度等价也需要采用一致的权重与归约方式。

第二步:经验分布下的交叉熵与负对数似然

先考虑离散数据。对每个结果 x,经验概率 $\hat P(x)$ 是它在 n 个样本中出现的次数除以 n。

$$H(\hat P,q_\theta)=-\sum_x\hat P(x)\log q_\theta(x) =-\frac1n\sum_{i=1}^{n}\log q_\theta(x_i)$$

因此:

$$D_{KL}(\hat P\|q_\theta)=-H(\hat P)-\frac1n\sum_{i=1}^{n}\log q_\theta(x_i)$$

前面是与模型无关的常数,后面是平均负对数似然。因此在这些条件下,最小化 KL、最小化交叉熵与最大化似然相对应。

如果样本里有重复结果,要先合并计数。只有 n 个样本取值互不相同、经验分布均匀落在这 n 个值上时,才有 $H(\hat P)=\log n$;不能把常数总写成 $-\log n$。

连续数据另有边界:有限样本的离散经验分布与连续密度之间,不能直接照搬上面有限的 KL 等式。最大似然仍可通过平均负对数密度定义;要谈总体 KL,需使用适当的总体分布及可积条件。

RLHF、变分推断可能优化不同变量和附加项,不能仅因名称相同就套这一整条等价链。

🔬 亲眼验证一次:one-hot 目标的三个数

下面是 5 个样本的分类例子。每个目标都写成 one-hot,熵为 0,因此这次 NLL、交叉熵与 KL 的数值相等。

import numpy as np

y = np.array([0, 2, 1, 2, 0])                    # 5 个样本的真实类别
q = np.array([[.7, .2, .1], [.1, .2, .7], [.2, .6, .2],
              [.3, .3, .4], [.5, .4, .1]])       # 模型预测的概率

# ① 负对数似然:只取"真实类别"那一格的概率
nll = -np.mean(np.log(q[np.arange(len(y)), y]))               # ⭐

# ② 交叉熵:把真实类别写成 one-hot 分布 P,再算 -Σ P·log Q
P = np.eye(3)[y]
ce = -np.mean(np.sum(P * np.log(q), axis=1))                  # ⭐

# ③ KL(P‖Q):one-hot 分布的熵 H(P)=0,所以 KL 恰好等于交叉熵
kl = np.mean(np.sum(P * np.log(np.clip(P, 1e-12, None) / q), axis=1))   # ⭐

print(nll, ce, kl)      # 0.5667226848155111 三次,一模一样

运行后,三个输出都约为 0.5667226848155111。先看是否一致,再把某个真实类的预测概率调小,观察平均损失怎样变化。

这里的 one-hot 是训练标签表示,不是说现实中的条件分布一定没有不确定性。换成软标签或标签平滑后,目标熵一般不为零;交叉熵与 KL 相差该熵,而不再数值相等。

🔗 这一章连到哪里

去哪 为什么
01 最大似然 把概率假设与损失函数联系起来
ML 基础 03 线性模型 看分类损失的使用条件,不把交叉熵当作所有分类问题的唯一选择
RL 11 PPO 区分策略差异约束与 PPO 的具体优化目标
RL 12 RLHF 联合观察奖励、KL、任务质量与多样性,不只盯一个数字早停
RL 07 探索与利用 概率集中可能影响探索;不能只由 KL 方向归因
RL 13 DPO 查看带 KL 正则目标的推导及假设
AI 基础设施 18b 蒸馏、推荐算法 18 对固定老师,区分软目标交叉熵与 KL 的数值和梯度
Kaggle 02 R-Drop 查看双向一致性约束
13 EM 与高斯混合 ELBO 与对数证据的差可写成一个 KL
扩散模型 03 负 ELBO 包含端点与中间步项;固定方差等条件下,中间高斯 KL 可化为加权均方误差

✅ 检查点

  1. 天气例子中的 0.88、1.58、0.70 分别表示什么?
  2. 单个求和项为 0,是否说明随意改变该处概率不会改变总 KL?
  3. P=(0.5,0.5)、Q=(1,0) 时,反向 KL 是多少?两个方向在什么条件下都能达到 0?
  4. 交叉熵与 KL 的优化为什么可以等价?经验样本有重复时应怎样处理?
  5. 哪种分类目标使交叉熵与 KL 数值相同?标签平滑后呢?
  6. 多样性下降能否单由“使用了反向 KL”解释?
  7. 语言模型生成雷同句子,除了训练目标还应检查什么?
展开参考答案
  1. 分别是平均理想码长、按 Q 计算的平均码长与多出的开销,单位都是比特 / 条。
  2. 不能。概率必须归一化;一个位置的变化会影响其他位置的项。
  3. 反向 KL 为 1 比特,不是 0。模型可表达 P 且取 Q=P 时,两个方向都为 0。
  4. 固定目标分布时相差一个与模型无关的熵项;重复样本按结果合并计数,不能默认熵为 log n。
  5. one-hot 目标熵为 0 时相同;软目标通常有非零熵,两者相差该熵。
  6. 不能。还要看奖励、正则强度、模型、采样和训练过程,也不能据此排除实现问题。
  7. 数据重复、能力限制与解码设置等;“前向 KL”本身不是完整的因果解释。

本节回顾

回来先看这四条

  • KL 的前后顺序决定加权方式,非负的是总和。
  • 某个零项不等于总惩罚免费;丢掉一个峰可能仍有正的 KL。
  • 覆盖或择峰是受限近似中的倾向,不是所有模型的必然结果。
  • 固定目标时,交叉熵 = 熵 + KL;one-hot 才使这次示例数值相等。

下一步:02 MAP 与正则化。在对应似然下加入高斯或拉普拉斯先验,可以分别联系到 L2 或 L1 惩罚。

打卡记录保存在你的浏览器里,首页能看到总进度