01b · KL 散度:交叉熵的真身
🎯 一句话
KL 衡量的是:按一个分布加权,另一个分布与它有多不匹配。顺序不同,得到的数值可以不同。
用编码理解时:若消息来自 P,却按 Q 设计理想码长,KL 是平均多付的编码长度。下面先算数字,再解释它与交叉熵、最大似然的联系。
KL 散度的几个辨析
| 使用场景 | KL 在其中的角色 |
|---|---|
| PPO / TRPO | TRPO 用它约束新旧策略差异;PPO 的具体目标另有定义 |
| RLHF | 某些目标在奖励外加入相对参考策略的 KL 惩罚 |
| 蒸馏 | 让学生的预测分布接近固定老师 |
| R-Drop | 约束同一输入两次 dropout 后的预测差异 |
先看清谁在前面、谁在后面,以及当前优化的是哪个分布。不能把“用了 KL”理解成“效果与原因都相同”。
🌀 一、直觉:用错码本要多付多少比特
假想天气分布为晴 80%、阴 15%、雨 5%。你却按三种天气各占三分之一来设计理想码长。
| 量 | 约多少比特 / 条 | 它表示什么 |
|---|---|---|
| 熵 H(P) | 0.88 | 按真实分布计算的平均理想码长 |
| 交叉熵 H(P,Q) | 1.58 | 按 Q 计算码长、但按 P 统计出现频率 |
| KL(P‖Q) | 0.70 | 后者比前者多出的部分,约增加 79% |
看最后一行:多出的开销来自分布不匹配。这里用的是理想码长或长序列编码的平均解释,不是说单独一天能直接发送 0.88 个二进制位。
📐 定义
$$D_{KL}(P\|Q)=\sum_x P(x)\log_2\frac{P(x)}{Q(x)}$$
先对每个结果比较 P 与 Q,再用 P 的概率作权重相加。
也可写成期望:$D_{KL}(P\|Q)=\mathbb{E}_{x\sim P}[\log_2(P(x)/Q(x))]$。“从 P 采样”决定了加权方式。
用 $\log_2$ 时单位是比特;自然对数 $\ln$ 对应 nat。换底会改变数值尺度,组合多个损失或设置阈值时也要同步处理。
四条性质,以及一个容易误读的地方
| 性质 | 注意条件 |
|---|---|
| KL ≥ 0,等号在 P = Q 时成立 | 单个求和项可以为负;非负的是总和 |
| 一般不对称 | 两个方向可能恰好相等,但不能默认相等 |
| 不满足三角不等式 | 不是数学意义上的距离度量 |
| 离散情形下,P(x)>0 而 Q(x)=0,会使 KL(P‖Q)=∞ | P(x)=0 时该项约定为 0;不能由此说任意改变 Q 都“免费” |
概率总和必须为 1。把 Q 的概率移到某个位置,会改变其他位置。一个位置的项为零,不代表总 KL 不变。
⚖️ 二、非对称到底意味着什么:前向 KL vs 反向 KL
把 P 固定成 (0.5, 0.5),比较不同 Q,全部使用以 2 为底的对数:
| Q | KL(P‖Q) | KL(Q‖P) |
|---|---|---|
| (0.5, 0.5) | 0 | 0 |
| (0.99, 0.01) | 约 2.33 比特 | 约 0.92 比特 |
| (1, 0) | ∞ | 1 比特,不是 0 |
最后一格是 $1\times\log_2(1/0.5)=1$;第二个位置的零项没有让总惩罚消失。
记忆法:看谁负责加权
| 比较项 | 前向 KL(P‖Q) | 反向 KL(Q‖P) |
|---|---|---|
| 由谁加权 | P | Q |
| 哪种情况会得到无穷大 | P>0 但 Q=0 | Q>0 但 P=0 |
| 受限模型中常见的近似倾向 | 覆盖 P 的多个高概率区域 | 避开 P 的低概率区域,可能偏向某个峰 |
| 不能推出什么 | 任意模型一定产生“平均脸” | 丢掉一个峰没有惩罚,或模型一定塌缩 |
当 Q 的可选范围能包含 P 时,两个方向都在 Q=P 处达到 0。图里的区别依赖“Q 无法完整表达 P”这一条件,而不是 KL 的无条件命令。
三种应用,不能只靠方向就下结论
| 观察到的现象 | 可以检查什么 | 不应直接断言 |
|---|---|---|
| 语言模型回答过于雷同 | 数据、模型能力、训练目标与解码设置 | 一定由前向 KL 导致 |
| 变分近似低估不确定性 | 近似分布族、KL 方向与优化结果 | 每个 VAE 后验都只保留一个峰 |
| RLHF 后输出多样性下降 | 奖励、KL 系数、熵、样本覆盖与训练变化 | KL 对概率集中完全不罚,或已经排除实现问题 |
变分近似的方向差异,可对照Stanford CS228 讲义;讲义也明确区分“近似族能否包含目标分布”。
在带 KL 正则的奖励优化中,奖励可能鼓励集中,KL 则对偏离参考策略收取代价。最终变化取决于二者的权衡,不能只看一个方向。可参照 InstructGPT 的训练目标。
参考策略给某输出极小概率,与奖励模型是否见过它不是严格等价的。实际语言模型常对大量序列给正概率,“支撑集之外”不应被当作所有分布外问题的代名词。
🔁 三、三个说法,什么时候对应同一个目标?
本节先固定目标分布 P,只优化模型 Q。这样才有“相差一个常数”的关系。
第一步:交叉熵 = 熵 + KL
$$H(P,Q)=H(P)+D_{KL}(P\|Q)$$
前面的天气例子就是 1.58 ≈ 0.88 + 0.70,差异来自显示时的四舍五入。
展开推导:加一项,再减同一项
$$H(P,Q)=-\sum_x P(x)\log Q(x) =-\sum_x P(x)\log P(x)+\sum_x P(x)\log\frac{P(x)}{Q(x)}$$
右边第一项是熵 H(P),第二项是 KL。P 固定且这些量有限时,H(P) 不随 Q 的参数变化。
固定 P 时,两者有相同的优化目标,但数值不必相同;梯度等价也需要采用一致的权重与归约方式。
第二步:经验分布下的交叉熵与负对数似然
先考虑离散数据。对每个结果 x,经验概率 $\hat P(x)$ 是它在 n 个样本中出现的次数除以 n。
$$H(\hat P,q_\theta)=-\sum_x\hat P(x)\log q_\theta(x) =-\frac1n\sum_{i=1}^{n}\log q_\theta(x_i)$$
因此:
$$D_{KL}(\hat P\|q_\theta)=-H(\hat P)-\frac1n\sum_{i=1}^{n}\log q_\theta(x_i)$$
前面是与模型无关的常数,后面是平均负对数似然。因此在这些条件下,最小化 KL、最小化交叉熵与最大化似然相对应。
如果样本里有重复结果,要先合并计数。只有 n 个样本取值互不相同、经验分布均匀落在这 n 个值上时,才有 $H(\hat P)=\log n$;不能把常数总写成 $-\log n$。
连续数据另有边界:有限样本的离散经验分布与连续密度之间,不能直接照搬上面有限的 KL 等式。最大似然仍可通过平均负对数密度定义;要谈总体 KL,需使用适当的总体分布及可积条件。
RLHF、变分推断可能优化不同变量和附加项,不能仅因名称相同就套这一整条等价链。
🔬 亲眼验证一次:one-hot 目标的三个数
下面是 5 个样本的分类例子。每个目标都写成 one-hot,熵为 0,因此这次 NLL、交叉熵与 KL 的数值相等。
import numpy as np
y = np.array([0, 2, 1, 2, 0]) # 5 个样本的真实类别
q = np.array([[.7, .2, .1], [.1, .2, .7], [.2, .6, .2],
[.3, .3, .4], [.5, .4, .1]]) # 模型预测的概率
# ① 负对数似然:只取"真实类别"那一格的概率
nll = -np.mean(np.log(q[np.arange(len(y)), y])) # ⭐
# ② 交叉熵:把真实类别写成 one-hot 分布 P,再算 -Σ P·log Q
P = np.eye(3)[y]
ce = -np.mean(np.sum(P * np.log(q), axis=1)) # ⭐
# ③ KL(P‖Q):one-hot 分布的熵 H(P)=0,所以 KL 恰好等于交叉熵
kl = np.mean(np.sum(P * np.log(np.clip(P, 1e-12, None) / q), axis=1)) # ⭐
print(nll, ce, kl) # 0.5667226848155111 三次,一模一样
运行后,三个输出都约为 0.5667226848155111。先看是否一致,再把某个真实类的预测概率调小,观察平均损失怎样变化。
这里的 one-hot 是训练标签表示,不是说现实中的条件分布一定没有不确定性。换成软标签或标签平滑后,目标熵一般不为零;交叉熵与 KL 相差该熵,而不再数值相等。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 01 最大似然 | 把概率假设与损失函数联系起来 |
| ML 基础 03 线性模型 | 看分类损失的使用条件,不把交叉熵当作所有分类问题的唯一选择 |
| RL 11 PPO | 区分策略差异约束与 PPO 的具体优化目标 |
| RL 12 RLHF | 联合观察奖励、KL、任务质量与多样性,不只盯一个数字早停 |
| RL 07 探索与利用 | 概率集中可能影响探索;不能只由 KL 方向归因 |
| RL 13 DPO | 查看带 KL 正则目标的推导及假设 |
| AI 基础设施 18b 蒸馏、推荐算法 18 | 对固定老师,区分软目标交叉熵与 KL 的数值和梯度 |
| Kaggle 02 R-Drop | 查看双向一致性约束 |
| 13 EM 与高斯混合 | ELBO 与对数证据的差可写成一个 KL |
| 扩散模型 03 | 负 ELBO 包含端点与中间步项;固定方差等条件下,中间高斯 KL 可化为加权均方误差 |
✅ 检查点
- 天气例子中的 0.88、1.58、0.70 分别表示什么?
- 单个求和项为 0,是否说明随意改变该处概率不会改变总 KL?
- P=(0.5,0.5)、Q=(1,0) 时,反向 KL 是多少?两个方向在什么条件下都能达到 0?
- 交叉熵与 KL 的优化为什么可以等价?经验样本有重复时应怎样处理?
- 哪种分类目标使交叉熵与 KL 数值相同?标签平滑后呢?
- 多样性下降能否单由“使用了反向 KL”解释?
- 语言模型生成雷同句子,除了训练目标还应检查什么?
展开参考答案
- 分别是平均理想码长、按 Q 计算的平均码长与多出的开销,单位都是比特 / 条。
- 不能。概率必须归一化;一个位置的变化会影响其他位置的项。
- 反向 KL 为 1 比特,不是 0。模型可表达 P 且取 Q=P 时,两个方向都为 0。
- 固定目标分布时相差一个与模型无关的熵项;重复样本按结果合并计数,不能默认熵为 log n。
- one-hot 目标熵为 0 时相同;软目标通常有非零熵,两者相差该熵。
- 不能。还要看奖励、正则强度、模型、采样和训练过程,也不能据此排除实现问题。
- 数据重复、能力限制与解码设置等;“前向 KL”本身不是完整的因果解释。
本节回顾
回来先看这四条
- KL 的前后顺序决定加权方式,非负的是总和。
- 某个零项不等于总惩罚免费;丢掉一个峰可能仍有正的 KL。
- 覆盖或择峰是受限近似中的倾向,不是所有模型的必然结果。
- 固定目标时,交叉熵 = 熵 + KL;one-hot 才使这次示例数值相等。
下一步:02 MAP 与正则化。在对应似然下加入高斯或拉普拉斯先验,可以分别联系到 L2 或 L1 惩罚。