🏠 总目录📚 本教程 03 · 训练目标为什么是预测噪声 ← →

扩散模型 / 03

没人给噪声标注,训练标签从哪里来?

同一份epsilon构造输入与标签,连接ELBO到MSE、输出参数化互换及时间条件。

📑 本页目录(点开跳转)

03 · 训练目标为什么是「预测噪声」

⏱ 30 分钟 | ⭐ 一串 KL 塌成一行均方误差,而标准答案是你自己造的


🎯 一句话

本页 DDPM 式噪声预测的简化损失是一行均方误差,而它的「标准答案」正是你自己刚加进去的那份噪声。

上一章停在「估噪声和估原图数学上是同一件事」。这一章补完两问:那行均方误差从哪来,以及既然能换算、为什么 DDPM 常用噪声目标。


🏷️ 一、先破一个误解:标签是你自己造的

本页训练不需要人工标注每份噪声,而是自行构造目标已知的回归样本。训练一步只有五个动作:

  1. 取一张真图 x₀,随机抽一个时刻 t(1…T 均匀)
  2. ⭐ 随机采一份噪声 ε ~ N(0, I) —— 这一份就是标签
  3. 闭式算出 $x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon$
  4. 把 (x_t, t) 喂进网络,拿到猜测 ε_θ(x_t, t)
  5. 损失 ‖ε − ε_θ‖²,反传

⭐ 第 2 步采的和第 5 步比的是同一个 ε —— 不是待估的未知量,是你几行之前亲手 randn 出来的那个张量。所以这从头到尾是监督回归:不用生成完整条反向链。随机抽 t 和 ε 本身就是对期望损失的蒙特卡洛估计。

⭐ 也因此可以不断构造新的带噪训练对,但真实数据的多样性仍有限:同一张图配不同的 t 和 ε,就是一条全新样本。

训练标签从哪里来? 真数据x0、均匀时间步t与一次抽取的高斯噪声epsilon构造带噪输入;网络以xt和t预测噪声。保留的同一epsilon作为MSE目标,只有参数theta被更新。一次训练更新不需要运行完整反向采样链。 训练标签从哪里来? 一次训练更新:抽一个 t,只做一次网络预测真数据 x₀来自训练集时刻 t均匀抽自 1…T噪声 ε抽取一次并保留闭式构造带噪输入xₜ = √ᾱₜ x₀ + √(1−ᾱₜ) ε预测器 εθ(xₜ, t)输入 xₜ 和 t;输出噪声预测MSE:预测 εθ 与保留的同一份 ε 比较损失反传,更新网络参数 θ虚线:同一份 ε 直接作为目标,不能重新抽一份。这张图是训练路径;生成样本时才反复运行采样链。
顺着实线看输入怎样构造,再沿虚线看标签:两条路径使用同一份 ε。一次训练更新只抽一个 t 来预测噪声;完整反向链属于生成采样。

📐 二、那行均方误差是从哪来的

它是从变分下界化简掉下来的。骨架三句:

再把上一章 μ̃_t 的形状代进去,x_t 两边抵消。对 t≥2,中间 KL 项中与均值预测有关的部分如下;期望对前向构造的随机量取,C_t 是固定方差带来的常数,不依赖均值网络参数:

$$L_{t-1} = \mathbb E_q\!\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar\alpha_t)}\,\big\|\varepsilon - \varepsilon_\theta(x_t,t)\big\|^2\right]+C_t$$

DDPM 原文进一步去掉该系数,使用 L_simple = E‖ε − ε_θ‖²。在原论文的调度和方差设置下,这会相对降低小 t 项的影响,原论文报告样本质量改善。相对权重还依赖调度、方差、时间抽样与预测目标,不能概括成“大 t 必定更重”或某段只负责构图。

📐 完整推导(想看再点)

按马尔可夫链把 Jensen 给出的证据下界拆开、用贝叶斯把每步换成以 x₀ 为条件的形式,得

$$L_{\text{VLB}} = \mathbb E_q\!\left[D_{KL}\big(q(x_T|x_0)\|p(x_T)\big) + \sum_{t\ge 2} D_{KL}\big(q(x_{t-1}|x_t,x_0)\|p_\theta(x_{t-1}|x_t)\big) - \log p_\theta(x_0|x_1)\right]$$

首项无可学参数(扔),末项是收尾重建,中间 T−1 项是全部战场。

第一刀:q(x_{t−1} | x_t, x₀) 是高斯,模型那边方差也定成常数 σ_t²,这项 KL 中依赖均值的部分是 ‖μ̃_t − μ_θ‖² ÷ 2σ_t²;若双方方差不相等,还包含与均值参数无关的项。

第二刀:把 x₀ 用 x_t 和 ε 表示代回上一章那个 μ̃_t,化简后它变成 (1/√α_t)·(x_t − β_t/√(1−ᾱ_t)·ε);让模型照同一形状写 μ_θ。⭐ 相减时 x_t 抵消,只剩 ε − ε_θ 乘一个常数。

⚠️ 「预测噪声」正是在这一刀选定的:吐 x̂₀ 或 μ_θ 也走得完,只是平方差里装的东西不同。


⚖️ 三、三种目标可以互换,为什么偏偏选噪声

在换算所需的分母非零时,可在这些目标之间转换;零终点 SNR 要单独处理:

$$\hat x_0 = \frac{x_t - \sqrt{1-\bar\alpha_t}\,\varepsilon_\theta}{\sqrt{\bar\alpha_t}}, \qquad v = \sqrt{\bar\alpha_t}\,\varepsilon - \sqrt{1-\bar\alpha_t}\,x_0$$

既然能互换,选哪个应该无所谓才对。但损失长在哪个量上,梯度就长在哪个量上:

# 同一份预测误差,换成两种训练目标之后,损失量级差多少
import torch

torch.manual_seed(0)
abar = torch.cumprod(1 - torch.linspace(1e-4, 0.02, 1000), 0)   # ᾱ_t,linear 调度
x0 = torch.randn(200000)                                        # 干净数据(方差 1)

for t in [10, 500, 990]:
    a = abar[t - 1]
    eps = torch.randn_like(x0)
    xt = a.sqrt() * x0 + (1 - a).sqrt() * eps      # 第 2 章那条闭式加噪
    eh = eps + 0.1 * torch.randn_like(eps)         # 模拟预测误差:零均值、标准差 0.1,并非训练出的网络
    xh = (xt - (1 - a).sqrt() * eh) / a.sqrt()     # 同一个预测换算成 x̂₀
    print(f"t={t:4d} k={(1-a).sqrt()/a.sqrt():6.2f} |"
          f" 摆烂猜x0={((xt-x0)**2).mean():6.4f} 摆烂猜eps={(eps**2).mean():6.4f} |"
          f" x0-MSE={((xh-x0)**2).mean():8.2e} eps-MSE={((eh-eps)**2).mean():6.4f}")

真实输出(摆烂 = 什么都不学的网络:猜 x₀ 就原样吐回输入,猜 ε 就一律说「没加噪」):

相同噪声误差,换算后的损失不同

第一张表是不学习的基线;第二张表人为加入标准差为 0.1 的预测误差。这里没有训练网络。

不学习的基线(MSE)

t 把输入 xₜ 当成 x₀ 把噪声预测成 0
10 0.0019 1.0024
500 1.4401 0.9965
990 1.9877 0.9995

同一份模拟预测,换算到两种目标

t 换算系数 k x₀-MSE ε-MSE
10 0.04 1.90e-05 0.0100
500 3.42 1.17e-01 0.0100
990 142.35 2.02e+02 0.0100

先记结论:能换算,不等于用未加权 MSE 训练时完全一样。 对同一份 ε 预测,x₀-MSE = $k_t^2$ × ε-MSE;选择目标也改变了各噪声时刻的权重。

参数梯度还要经过网络的导数,不能只凭一个 loss 数值判断“学不到东西”。DDPM 的简化目标是一种训练选择,而不是所有扩散模型只能预测噪声。依据:DDPM 原论文。

参数化 强在哪 弱在哪
ε DDPM 常用;噪声目标的边际方差固定 t 很大、√ᾱ 很小时,换算 x̂₀ 会放大 ε 误差;本例 t=990 的系数为 142.35
x₀ 直接预测干净样本,不需要从 ε 除以小系数换算 高噪声时信息少,预测仍然困难;损失权重需要与噪声水平配合
v:按噪声水平混合 ε 和 x₀ 可避免从 ε 恢复 x₀ 时除以 √ᾱ;用于部分蒸馏和零终点 SNR 方案 不是所有任务必用;训练、采样换算及损失权重必须对应

⏰ 四、时间步 t 怎么告诉网络

同一份权重要在 1000 个噪声水平上干活,而 t=10 该做的事(微调纹理)和 t=990 该做的事(从一团雾里定构图)完全不同。所以网络必须获得噪声水平信息;在多个块中注入时间条件是常见做法。

直接使用归一化的时间标量并非不允许;常见做法是先把它映射成向量,方便后续层表达不同噪声水平下的行为。嵌入丰富的是表达形式,不是凭空增加时间信息。

⭐ 做法和 Transformer 给 token 编位置是同一个套路:一组频率各异的正弦余弦把整数摊成高维向量,再过两层小 MLP,加到每个残差块的特征上。

$$\text{emb}(t)_{2i} = \sin(t\,\omega_i), \quad \text{emb}(t)_{2i+1} = \cos(t\,\omega_i), \quad \omega_i = 10000^{-2i/d}$$

人话:低频那几维几百步才转一圈(管「在链条哪一段」),高频那几维一步一变(管「精确第几步」),合起来每个 t 拿到一串独一无二的条纹指纹。好处有二:相邻的 t 得到相近的向量,网络能插值,不会把 1000 个时刻当成 1000 个互不相干的类别;嵌入公式本身可直接计算;更改 T 或调度后,时间标记与噪声水平的对应仍须与模型训练保持一致。

t 不是一个数字,要变成一串能被每一层读到的向量t = 990一个整数不同频率的正弦低频管「大概在哪一段」,高频管「精确是第几步」时间嵌入一串浮点数每一层都注入⭐ 和位置编码是同一个套路:把「第几个」变成一串不同频率的正弦⚠️ 只在输入端塞一次不够 —— t 要影响每一层的行为
看中间那三条频率不同的正弦:低频区分「大致在哪一段」,高频区分「精确是第几步」。⭐ 和 Transformer 的位置编码是同一个套路,只是这里编的是时间而不是位置。

⚠️ 代码里它一般叫 timestep_embedding 或 time_mlp;连续时间的实现喂的不是 t 而是噪声水平 σ 或 log-SNR。


🔗 这一章连到哪里

相关的地方 为什么
数学原理 01b · KL 散度 第二节 KL 的基础:先核对谁负责加权、谁在优化;受限近似可能有覆盖或择峰倾向,但遗漏一个峰不等于总惩罚为零
数学原理 13 · EM 与高斯混合 ELBO 的正式出处:E 步把下界顶到贴着似然,M 步抬高下界。扩散是同一招,隐变量换成「中间那 T 张带噪图」
ML 基础 09 · 优化器与学习率 「梯度被少数样本吃光」是这一层的事。那一章讲 Adam 怎么给每个参数各自的步长来救场
全景导论 专题 C · RoPE:位置感 正弦嵌入的另一个用法:「不同频率的正弦叠在一起,每个位置拿到一串独一无二的条纹指纹」——同一个零件

✅ 检查点

  1. 损失里那个 ε 是从哪来的?为什么说这是监督学习?
  2. ELBO 展开成一串 KL 之后,是哪个性质让它「塌成」平方差的?
  3. L_simple 比完整的变分下界少了什么?后果是什么?
  4. t=10 时,一个「原样吐回输入」的网络在 x₀ 目标上错多少?在 ε 目标上呢?说明什么?
  5. 同一份模拟预测(ε 误差标准差为 0.1),换成 x₀ 口径后损失跨了多大范围?
  6. 时间嵌入解决什么表达问题?它会增加原始时间信息吗?
👀 答案
  1. 是你自己 randn 出来的那份噪声 —— 第 2 步采出、第 3 步拿它造 x_t、第 5 步拿它当标签,同一个张量。标签已知,所以是监督回归。
  2. 两边都是高斯,方差写死、只学均值。 同方差高斯的 KL 等于均值差平方除以 2σ²;若方差不同但固定,另有与均值参数无关的项。再把 μ_θ 写成和 μ̃_t 同一形状,相减时 x_t 抵消,只剩 ε − ε_θ。
  3. 中间 KL 均值项的时间系数 β_t²/(2σ_t²α_t(1−ᾱ_t)) 被去掉;完整负 ELBO 还含终点 KL 和末端重建项。原论文设置下相对降低小 t 项的影响,但其他设置需重新计算权重。
  4. t=10 时,复制 xₜ 的 x₀-MSE 是 0.0019,恒预测 ε=0 的 MSE 是 1.0024。比较的是两个不同的基线,不能仅凭这些数断言参数梯度小或网络学不到东西。
  5. 从 1.90e-05 跨到 202,七个数量级;ε 口径恒定 0.0100。换算比 k 在 t=990 时是 142.35。
  6. 时间标量本身可以用;正弦嵌入把不同变化尺度展开成多个特征,方便网络使用。它不会增加原始时间信息,也不保证换调度后无需重新适配。

本节回顾

读到这里,你已经能看懂任意一份扩散训练脚本的核心几行:t = torch.randint(0, T, (B,)) 是每张图各抽各的时刻,noise = torch.randn_like(x0) 就是标签,F.mse_loss(model(x_t, t), noise) 就是 L_simple,而 prediction_type: v_prediction 指向另一种输出约定。仅修改采样器配置不会把已训练的 ε 模型变成 v 模型,必须与训练权重和采样换算相匹配。

什么时候回来:改了预测目标却忘了改采样端的换算(第三节);loss 好看但出图糊(第二节);想上 zero terminal SNR 却发现 ε 参数化在终点除零(第三节的表)。

⚡ 走神救援

先记住这几件事

下一节 👉 04-DDIM与采样加速.md

打卡记录保存在你的浏览器里,首页能看到总进度