扩散模型 / 03
没人给噪声标注,训练标签从哪里来?
同一份epsilon构造输入与标签,连接ELBO到MSE、输出参数化互换及时间条件。
📑 本页目录(点开跳转)
03 · 训练目标为什么是「预测噪声」
⏱ 30 分钟 | ⭐ 一串 KL 塌成一行均方误差,而标准答案是你自己造的
🎯 一句话
本页 DDPM 式噪声预测的简化损失是一行均方误差,而它的「标准答案」正是你自己刚加进去的那份噪声。
上一章停在「估噪声和估原图数学上是同一件事」。这一章补完两问:那行均方误差从哪来,以及既然能换算、为什么 DDPM 常用噪声目标。
🏷️ 一、先破一个误解:标签是你自己造的
本页训练不需要人工标注每份噪声,而是自行构造目标已知的回归样本。训练一步只有五个动作:
- 取一张真图 x₀,随机抽一个时刻 t(1…T 均匀)
- ⭐ 随机采一份噪声 ε ~ N(0, I) —— 这一份就是标签
- 闭式算出 $x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon$
- 把 (x_t, t) 喂进网络,拿到猜测 ε_θ(x_t, t)
- 损失 ‖ε − ε_θ‖²,反传
⭐ 第 2 步采的和第 5 步比的是同一个 ε —— 不是待估的未知量,是你几行之前亲手
randn出来的那个张量。所以这从头到尾是监督回归:不用生成完整条反向链。随机抽 t 和 ε 本身就是对期望损失的蒙特卡洛估计。
⭐ 也因此可以不断构造新的带噪训练对,但真实数据的多样性仍有限:同一张图配不同的 t 和 ε,就是一条全新样本。
📐 二、那行均方误差是从哪来的
它是从变分下界化简掉下来的。骨架三句:
- x₁…x_T 全是隐变量,log p(x₀) 要对中间状态积分,算不了;改为最大化它的下界 ELBO。
- 对应的负 ELBO 包含终点 KL、T−1 项反向步 KL和末端重建项,每项都是「真实的那一步」和「模型走的那一步」的距离。
- ⭐ 关键一刀:两边都是高斯,方差写死、只有均值要学。同方差高斯的 KL 等于均值差的平方除以 2σ²,一串 KL 当场塌成一串平方差。
再把上一章 μ̃_t 的形状代进去,x_t 两边抵消。对 t≥2,中间 KL 项中与均值预测有关的部分如下;期望对前向构造的随机量取,C_t 是固定方差带来的常数,不依赖均值网络参数:
$$L_{t-1} = \mathbb E_q\!\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar\alpha_t)}\,\big\|\varepsilon - \varepsilon_\theta(x_t,t)\big\|^2\right]+C_t$$
DDPM 原文进一步去掉该系数,使用 L_simple = E‖ε − ε_θ‖²。在原论文的调度和方差设置下,这会相对降低小 t 项的影响,原论文报告样本质量改善。相对权重还依赖调度、方差、时间抽样与预测目标,不能概括成“大 t 必定更重”或某段只负责构图。
📐 完整推导(想看再点)
按马尔可夫链把 Jensen 给出的证据下界拆开、用贝叶斯把每步换成以 x₀ 为条件的形式,得
$$L_{\text{VLB}} = \mathbb E_q\!\left[D_{KL}\big(q(x_T|x_0)\|p(x_T)\big) + \sum_{t\ge 2} D_{KL}\big(q(x_{t-1}|x_t,x_0)\|p_\theta(x_{t-1}|x_t)\big) - \log p_\theta(x_0|x_1)\right]$$
首项无可学参数(扔),末项是收尾重建,中间 T−1 项是全部战场。
第一刀:q(x_{t−1} | x_t, x₀) 是高斯,模型那边方差也定成常数 σ_t²,这项 KL 中依赖均值的部分是 ‖μ̃_t − μ_θ‖² ÷ 2σ_t²;若双方方差不相等,还包含与均值参数无关的项。
第二刀:把 x₀ 用 x_t 和 ε 表示代回上一章那个 μ̃_t,化简后它变成 (1/√α_t)·(x_t − β_t/√(1−ᾱ_t)·ε);让模型照同一形状写 μ_θ。⭐ 相减时 x_t 抵消,只剩 ε − ε_θ 乘一个常数。
⚠️ 「预测噪声」正是在这一刀选定的:吐 x̂₀ 或 μ_θ 也走得完,只是平方差里装的东西不同。
⚖️ 三、三种目标可以互换,为什么偏偏选噪声
在换算所需的分母非零时,可在这些目标之间转换;零终点 SNR 要单独处理:
$$\hat x_0 = \frac{x_t - \sqrt{1-\bar\alpha_t}\,\varepsilon_\theta}{\sqrt{\bar\alpha_t}}, \qquad v = \sqrt{\bar\alpha_t}\,\varepsilon - \sqrt{1-\bar\alpha_t}\,x_0$$
既然能互换,选哪个应该无所谓才对。但损失长在哪个量上,梯度就长在哪个量上:
# 同一份预测误差,换成两种训练目标之后,损失量级差多少
import torch
torch.manual_seed(0)
abar = torch.cumprod(1 - torch.linspace(1e-4, 0.02, 1000), 0) # ᾱ_t,linear 调度
x0 = torch.randn(200000) # 干净数据(方差 1)
for t in [10, 500, 990]:
a = abar[t - 1]
eps = torch.randn_like(x0)
xt = a.sqrt() * x0 + (1 - a).sqrt() * eps # 第 2 章那条闭式加噪
eh = eps + 0.1 * torch.randn_like(eps) # 模拟预测误差:零均值、标准差 0.1,并非训练出的网络
xh = (xt - (1 - a).sqrt() * eh) / a.sqrt() # 同一个预测换算成 x̂₀
print(f"t={t:4d} k={(1-a).sqrt()/a.sqrt():6.2f} |"
f" 摆烂猜x0={((xt-x0)**2).mean():6.4f} 摆烂猜eps={(eps**2).mean():6.4f} |"
f" x0-MSE={((xh-x0)**2).mean():8.2e} eps-MSE={((eh-eps)**2).mean():6.4f}")
真实输出(摆烂 = 什么都不学的网络:猜 x₀ 就原样吐回输入,猜 ε 就一律说「没加噪」):
相同噪声误差,换算后的损失不同
第一张表是不学习的基线;第二张表人为加入标准差为 0.1 的预测误差。这里没有训练网络。
不学习的基线(MSE)
| t | 把输入 xₜ 当成 x₀ | 把噪声预测成 0 |
|---|---|---|
| 10 | 0.0019 | 1.0024 |
| 500 | 1.4401 | 0.9965 |
| 990 | 1.9877 | 0.9995 |
同一份模拟预测,换算到两种目标
| t | 换算系数 k | x₀-MSE | ε-MSE |
|---|---|---|---|
| 10 | 0.04 | 1.90e-05 | 0.0100 |
| 500 | 3.42 | 1.17e-01 | 0.0100 |
| 990 | 142.35 | 2.02e+02 | 0.0100 |
-
先看基线:t=10 时,把 xₜ 原样当成 x₀ 的 MSE 为 0.0019;t=990 时是 1.9877。恒预测 ε=0 的 MSE 则约为 1。它们只是两个指定基线,不能证明真实模型在所有 t 上学习噪声都一样容易。
-
再看同一份模拟误差:ε 误差标准差固定为 0.1,ε-MSE 约为 0.0100;换算到 x₀ 后,MSE 从 1.90e-05 变成约 202。这是换算系数平方造成的时间权重差异,不是实测训练梯度。
先记结论:能换算,不等于用未加权 MSE 训练时完全一样。 对同一份 ε 预测,x₀-MSE = $k_t^2$ × ε-MSE;选择目标也改变了各噪声时刻的权重。
参数梯度还要经过网络的导数,不能只凭一个 loss 数值判断“学不到东西”。DDPM 的简化目标是一种训练选择,而不是所有扩散模型只能预测噪声。依据:DDPM 原论文。
| 参数化 | 强在哪 | 弱在哪 |
|---|---|---|
| ε | DDPM 常用;噪声目标的边际方差固定 | t 很大、√ᾱ 很小时,换算 x̂₀ 会放大 ε 误差;本例 t=990 的系数为 142.35 |
| x₀ | 直接预测干净样本,不需要从 ε 除以小系数换算 | 高噪声时信息少,预测仍然困难;损失权重需要与噪声水平配合 |
| v:按噪声水平混合 ε 和 x₀ | 可避免从 ε 恢复 x₀ 时除以 √ᾱ;用于部分蒸馏和零终点 SNR 方案 | 不是所有任务必用;训练、采样换算及损失权重必须对应 |
⏰ 四、时间步 t 怎么告诉网络
同一份权重要在 1000 个噪声水平上干活,而 t=10 该做的事(微调纹理)和 t=990 该做的事(从一团雾里定构图)完全不同。所以网络必须获得噪声水平信息;在多个块中注入时间条件是常见做法。
直接使用归一化的时间标量并非不允许;常见做法是先把它映射成向量,方便后续层表达不同噪声水平下的行为。嵌入丰富的是表达形式,不是凭空增加时间信息。
⭐ 做法和 Transformer 给 token 编位置是同一个套路:一组频率各异的正弦余弦把整数摊成高维向量,再过两层小 MLP,加到每个残差块的特征上。
$$\text{emb}(t)_{2i} = \sin(t\,\omega_i), \quad \text{emb}(t)_{2i+1} = \cos(t\,\omega_i), \quad \omega_i = 10000^{-2i/d}$$
人话:低频那几维几百步才转一圈(管「在链条哪一段」),高频那几维一步一变(管「精确第几步」),合起来每个 t 拿到一串独一无二的条纹指纹。好处有二:相邻的 t 得到相近的向量,网络能插值,不会把 1000 个时刻当成 1000 个互不相干的类别;嵌入公式本身可直接计算;更改 T 或调度后,时间标记与噪声水平的对应仍须与模型训练保持一致。
⚠️ 代码里它一般叫 timestep_embedding 或 time_mlp;连续时间的实现喂的不是 t 而是噪声水平 σ 或 log-SNR。
🔗 这一章连到哪里
| 相关的地方 | 为什么 |
|---|---|
| 数学原理 01b · KL 散度 | 第二节 KL 的基础:先核对谁负责加权、谁在优化;受限近似可能有覆盖或择峰倾向,但遗漏一个峰不等于总惩罚为零 |
| 数学原理 13 · EM 与高斯混合 | ELBO 的正式出处:E 步把下界顶到贴着似然,M 步抬高下界。扩散是同一招,隐变量换成「中间那 T 张带噪图」 |
| ML 基础 09 · 优化器与学习率 | 「梯度被少数样本吃光」是这一层的事。那一章讲 Adam 怎么给每个参数各自的步长来救场 |
| 全景导论 专题 C · RoPE:位置感 | 正弦嵌入的另一个用法:「不同频率的正弦叠在一起,每个位置拿到一串独一无二的条纹指纹」——同一个零件 |
✅ 检查点
- 损失里那个 ε 是从哪来的?为什么说这是监督学习?
- ELBO 展开成一串 KL 之后,是哪个性质让它「塌成」平方差的?
- L_simple 比完整的变分下界少了什么?后果是什么?
- t=10 时,一个「原样吐回输入」的网络在 x₀ 目标上错多少?在 ε 目标上呢?说明什么?
- 同一份模拟预测(ε 误差标准差为 0.1),换成 x₀ 口径后损失跨了多大范围?
- 时间嵌入解决什么表达问题?它会增加原始时间信息吗?
👀 答案
- 是你自己
randn出来的那份噪声 —— 第 2 步采出、第 3 步拿它造 x_t、第 5 步拿它当标签,同一个张量。标签已知,所以是监督回归。 - 两边都是高斯,方差写死、只学均值。 同方差高斯的 KL 等于均值差平方除以 2σ²;若方差不同但固定,另有与均值参数无关的项。再把 μ_θ 写成和 μ̃_t 同一形状,相减时 x_t 抵消,只剩 ε − ε_θ。
- 中间 KL 均值项的时间系数 β_t²/(2σ_t²α_t(1−ᾱ_t)) 被去掉;完整负 ELBO 还含终点 KL 和末端重建项。原论文设置下相对降低小 t 项的影响,但其他设置需重新计算权重。
- t=10 时,复制 xₜ 的 x₀-MSE 是 0.0019,恒预测 ε=0 的 MSE 是 1.0024。比较的是两个不同的基线,不能仅凭这些数断言参数梯度小或网络学不到东西。
- 从 1.90e-05 跨到 202,七个数量级;ε 口径恒定 0.0100。换算比 k 在 t=990 时是 142.35。
- 时间标量本身可以用;正弦嵌入把不同变化尺度展开成多个特征,方便网络使用。它不会增加原始时间信息,也不保证换调度后无需重新适配。
本节回顾
读到这里,你已经能看懂任意一份扩散训练脚本的核心几行:t = torch.randint(0, T, (B,)) 是每张图各抽各的时刻,noise = torch.randn_like(x0) 就是标签,F.mse_loss(model(x_t, t), noise) 就是 L_simple,而 prediction_type: v_prediction 指向另一种输出约定。仅修改采样器配置不会把已训练的 ε 模型变成 v 模型,必须与训练权重和采样换算相匹配。
什么时候回来:改了预测目标却忘了改采样端的换算(第三节);loss 好看但出图糊(第二节);想上 zero terminal SNR 却发现 ε 参数化在终点除零(第三节的表)。
⚡ 走神救援
先记住这几件事
- 训练样本由干净数据、随机时刻和已知噪声构造,目标可以直接计算。
- 预测噪声、预测干净样本和 v 参数化之间可以换算,但损失的时间权重并不因此相同。
- 时间条件必须传给去噪网络;先核对采样出来的噪声与监督目标是同一份。
下一节 👉 04-DDIM与采样加速.md