🏠 总目录📚 本教程 02b · 调度表与反向过程 ← →

扩散模型 / 02b

同样的步数,调度怎样重新分配信号与噪声?

先看beta/alpha曲线与SNR约定,再看反向过程预测对象和不能照抄前向捷径的原因。

📑 本页目录(点开跳转)

02b · 调度表与反向过程

⏱ 26 分钟 | ⭐ β 那张表在决定什么,以及反向为什么不能照抄前向


🎯 一句话

上一页说前向是一条写死的公式 —— 但那张表具体怎么写,会改变不同时间步的信号与噪声分配。 这一页先讲调度表,再回答那个自然会冒出来的问题: 既然前向能一步构造任意 $t$ 的样本,为什么不能照抄这条公式来生成?


📉 四、β 调度:这条曲线在决定什么

$\beta_t$ 那张表怎么填,决定了「信息被毁掉的节奏」。两个常见选择:

$$\bar\alpha_t = \frac{f(t)}{f(0)}, \qquad f(t) = \cos^2\!\left(\frac{t/T + s}{1+s}\cdot\frac{\pi}{2}\right), \quad s = 0.008$$

人话:cosine 让「原图还剩多少」沿一条平缓的余弦曲线下落,而不是像 linear 那样前段陡跌。那个小小的 $s$ 是防止 $t=0$ 附近 $\beta$ 掉到 0 的偏置项。

# 两种 β 调度下,「原图还剩多少」随 t 怎么衰减
import torch

T = 1000

# linear:DDPM 原论文
beta_lin = torch.linspace(1e-4, 0.02, T)
abar_lin = torch.cumprod(1 - beta_lin, dim=0)

# cosine:Improved DDPM 提出的,直接定义 ᾱ_t 而不是先定义 β_t
s = 0.008
t = torch.arange(T + 1, dtype=torch.float64)
f = torch.cos((t / T + s) / (1 + s) * torch.pi / 2) ** 2
abar_cos = (f / f[0])[1:]                       # ⭐ 先画出 ᾱ 的形状,β 是反推出来的

print(f"{'t':>5} {'sqrt_ab_lin':>12} {'sqrt_ab_cos':>12} {'SNR linear':>11} {'SNR cosine':>11}")
for i in [0, 99, 199, 399, 599, 799, 999]:
    al, ac = abar_lin[i].item(), abar_cos[i].item()
    print(f"{i+1:5d} {al**0.5:11.4f} {ac**0.5:11.4f} "
          f"{al/(1-al):11.3f} {ac/(1-ac):11.3f}")

# 调度 SNR=1:对单位方差信号,信号与噪声方差相等
half_lin = int((abar_lin / (1 - abar_lin) >= 1).sum())
half_cos = int((abar_cos / (1 - abar_cos) >= 1).sum())
print(f"\nSNR 掉到 1 之前,linear 撑了 {half_lin} 步({half_lin/T:.0%}),"
      f"cosine 撑了 {half_cos} 步({half_cos/T:.0%})")
print(f"终点 sqrt(abar_T):linear {abar_lin[-1].item()**0.5:.5f},cosine {abar_cos[-1].item()**0.5:.5f}")

真实输出:

同样 1000 步,两种调度的差别

先比较原数据系数:cosine 在中段保留得更久。SNR 列使用单位方差信号的约定。

t √ᾱ linear √ᾱ cosine SNR linear SNR cosine
1 0.9999 1.0000 9997.341 24221.327
100 0.9471 0.9859 8.710 34.833
200 0.8118 0.9480 1.933 8.872
400 0.4418 0.8047 0.242 1.837
600 0.1609 0.5838 0.027 0.517
800 0.0391 0.3067 0.002 0.104
1000 0.0064 0.0000 0.000 0.000
汇总 linear cosine
SNR ≥ 1 的步数 259(26%) 496(50%)
终点 √ᾱ(保留 5 位小数) 0.00635 0.00000

显示为 0.000 或 0.00000 可能来自四舍五入,不能据此断言计算值严格为零。

这里使用调度的 SNR 约定:$\bar\alpha_t/(1-\bar\alpha_t)$。当原数据方差为 1、噪声独立且为单位方差时,它才等于信号与噪声的方差比;这时 SNR=1 表示两者方差相等。

若原数据方差为 V,实际方差比是 $\bar\alpha_t V/(1-\bar\alpha_t)$。因此不能把表中的 SNR 无条件读作“原图信息还剩几成”。

SNR = 1 是刻度,不是学习边界 比较1000步linear与cosine的累积alpha。横轴t,纵轴累积alpha而非其平方根。单位方差信号下,SNR为1对应alpha为0.5。满足阈值的步数为259与496;不代表有效学习步数或性能翻倍。 SNR = 1 是刻度,不是学习边界 T=1000;SNR=ᾱₜ/(1−ᾱₜ),采用单位方差信号约定ᾱₜ:原数据的方差系数00.5102505007501000t── cosine┄ linearSNR=1ᾱₜ ≥ 0.5 的步数:linear 259;cosine 496这只是一条阈值统计;低 SNR 不等于“不能学习”。
看虚线刻度 ᾱₜ=0.5:在单位方差信号约定下它对应 SNR=1。259 与 496 是满足这个阈值的步数,不是有效学习步数,也不能推出训练收益翻倍。

这张表说明两种调度把噪声水平怎样分配到时间轴上,不足以单独决定哪种更好:

对比项 linear cosine
SNR ≥ 1 撑到第几步 259(26%) 496(50%)
$t=400$ 时原图还剩 0.44 0.80
SNR < 1 的时间范围 约 74% 约 50%

本例中 linear 的系数 SNR 更早降到 1 以下。但 SNR<1 不等于纯噪声,也不等于没有学习价值;阈值只是便于比较的刻度。哪种调度更适合,需要结合数据尺度、目标权重与采样预算实测。

核对终点的实现。 理想余弦曲线在终点为零;离散化时,常将最后一步 β 截到 0.999,避免某些反向公式除以零。本页代码直接展示理想累计曲线,没有反推 β,也没有截断;其终点显示为 0.00000。若要实现带截断的离散调度,应另算 beta = 1 - abar[1:]/abar[:-1]、截到 0.999,再累乘 1-beta;不能把两种终点混作同一份结果。

这不是“所有实现都必须如此”。若要使用严格零终点 SNR,需让预测目标和采样换算共同支持它。


🔄 五、反向过程:唯一需要学的那一半

要生成图,就得反着问:给定 $x_t$,$x_{t-1}$ 是什么?

直接求 $q(x_{t-1}\mid x_t)$ 要用到整个数据分布 —— 而那正是你想学的东西,绕回去了。

如果额外知道干净样本 x₀,在 t≥2 时,这个后验有闭式解且为高斯;t=1 时方差为 0,按干净端点的退化分布理解:

$$q(x_{t-1}\mid x_t, x_0) = \mathcal{N}\!\left(\tilde\mu_t(x_t, x_0),\; \tilde\beta_t I\right)$$

$$\tilde\mu_t = \frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,x_t, \qquad \tilde\beta_t = \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\,\beta_t$$

人话:已知起点和终点,中间那一步就是两者的一个线性加权组合,权重由调度决定,再配一个固定的方差。$t$ 大的时候权重偏向 $x_t$,$t$ 小的时候偏向 $x_0$。

问题只剩一个:推理时你没有 $x_0$(有的话还生成什么)。所以拿一个网络去估它。而由第二节的闭式采样式一变形,

$$x_0 = \frac{x_t - \sqrt{1-\bar\alpha_t}\;\varepsilon}{\sqrt{\bar\alpha_t}}$$

知道 $x_t$ 和 $\varepsilon$,就等于知道 $x_0$。 于是「估原图」和「估噪声」在数学上是同一件事 —— ⭐ 而工程上普遍选后者,为什么,就是下一章的正题。

本页的噪声预测器根据带噪状态与 t 估计噪声。平方误差下,理想输出是 $\mathbb E[\epsilon\mid x_t,t]$,不是保证认出某次隐藏的真实噪声。

🚧 为什么反向不能直接照抄前向的捷径

对比项 前向 反向
每一步在做什么 加一份和数据无关的高斯噪声 问「这坨像素最可能是从什么演变来的」
是不是线性 是(乘一个数 + 加噪声) 否 —— 网络是非线性的
能否直接用前向闭式公式 能,独立高斯的线性组合可合并 不能直接照抄;反向依赖未知数据分布,通常需学习并使用合适的采样器

所以那 1000 步是一步一步走出来的,这就是扩散模型慢的根源。 ⚠️ 但「不能精确合并」不等于「不能近似跳过」—— 怎么把 1000 步压到 50 步,是第 4 章的正题。


🔗 这一章连到哪里

相关的地方 为什么
全景导论 10b · 图像生成 14 分钟的鸟瞰版,讲为什么图像走扩散、语言走自回归。它的深挖清单把这一整块判成「要外找」,本章就是那份外找的第一页
强化学习基础 02 · MDP 第一节说前向过程是马尔可夫链。那一章专门有一节讲马尔可夫性质(「未来只取决于现在,与过去无关」),还给了个反例说明它是「状态怎么定义」的属性、不是问题本身的属性
机器学习的数学原理 13 · EM 与高斯混合 $x_1 \dots x_T$ 全是隐变量 —— 扩散模型是个隐变量模型。那一章用高斯混合把「有隐变量该怎么办」讲透了,下一章的变分下界直接接着它用
机器学习与深度学习基础 15 · PyTorch 实战手册 上面几段代码里的 torch.cumprod、randn_like、广播如果读着吃力,那一章有一份可直接抄的 PyTorch 模板

✅ 检查点

  1. linear 和 cosine 两种调度,SNR 掉到 1 各撑了多少步?这一差别能否单独证明 cosine 更好?
  2. 模型到底在学什么?用一句不含「生成」「创作」的话说清楚。
  3. 前向能一步跳到任意 $t$,反向为什么不能?
👀 答案
  1. linear 的 SNR≥1 共 259 步(26%),cosine 共 496 步(50%)。这说明时间分配不同;SNR 低于 1 不等于纯噪声或白走,不能只凭该阈值判断训练价值。
  2. 给定带噪状态和噪声水平,回归训练时已知的噪声标签;理想输出为条件均值,不保证恢复当前样本隐藏的真实噪声。
  3. 前向每步是「加一份和数据无关的噪声」,是线性的、两个高斯能合并成一个;反向每步要问「这坨像素最可能是从什么演变来的」,依赖数据分布而且是非线性的,不能仅靠前向的高斯合并公式得到精确反向采样;非线性本身并不证明任何闭式解都不存在。(近似跳过是另一回事,04 章讲。)

本节回顾

到这里前向和反向两条路你都看清了:一条写死、一条要学,而且清楚了为什么反向不能像前向那样抄近道。

⚠️ 什么时候回来:读完 04 章之后 —— 那一章会告诉你反向其实可以跳步,只是换掉了一个前提。回头再看这一页最后那一节,会更清楚它换掉的是什么。

⚡ 走神救援

先记住这几件事

下一节 👉 03-训练目标为什么是预测噪声.md

打卡记录保存在你的浏览器里,首页能看到总进度