扩散模型 / 02
逐步加噪与直接跳到t,为何能得到同一条件分布?
沿前向系数→闭式采样→逐步/直接对照→近似高斯终点,保留独立抽样不等于同一终点。
📑 本页目录(点开跳转)
02 · 加噪:一条不用学的公式
⏱ 32 分钟 | ⭐ 前向过程零个可训练参数,它让训练不必逐步加噪
🎯 一句话
扩散有两条方向相反的路,只有反向那条要学。 这一页讲前向:加噪是一条写死的公式,零个可训练参数 —— 而它最要紧的性质是能一步跳到任意时刻,它让不同噪声时刻可以放进同一个 batch。
🌫️ 一、前向过程:一条不用学的公式
从原图 $x_0$ 出发,每一步往里掺一点高斯噪声:
$$x_t = \sqrt{1-\beta_t}\; x_{t-1} + \sqrt{\beta_t}\; \varepsilon, \qquad \varepsilon \sim \mathcal{N}(0, I)$$
人话:把上一步的图按 $\sqrt{1-\beta_t}$ 缩小一丁点,再掺进 $\sqrt{\beta_t}$ 那么多的纯噪声。$\beta_t$ 是个很小的数(DDPM 原文从 0.0001 线性涨到 0.02),所以单看一步几乎什么都没变 —— 变化是 $T$ 步(典型 $T=1000$)累出来的。
⭐ 三件事现在就说清楚:
| 事实 | 说明 |
|---|---|
| 这里没有一个参数 | $\beta_1 \dots \beta_T$ 是事先定好的一张表,从头到尾不参与训练,也不需要梯度 |
| 它是一条马尔可夫链 | $x_t$ 只依赖 $x_{t-1}$,跟更早的怎么来的无关 |
| 那两个系数不是随手挑的 | 它们的平方和为 1;单位方差输入与独立单位高斯噪声混合后,方差仍为 1 —— 见下一小节 |
🧪 为什么偏偏是 √(1−β) 和 √β
假设原图每个像素的方差是 1。代进公式:$\mathrm{Var}(x_t) = (1-\beta_t)\cdot 1 + \beta_t \cdot 1 = 1$。加完噪声,方差还是 1。 这就是所谓的 variance preserving(方差保持):整条链上每一步的数值范围都差不多,网络不会在 $t=10$ 时看到 $\pm 1$ 的输入、在 $t=900$ 时看到 $\pm 30$ 的输入。
跑一下就看得见:
# 单位方差输入在这条链上保持单位方差;其他输入尺度逐渐靠近 1
import torch
torch.manual_seed(0)
T = 1000
abar = torch.cumprod(1 - torch.linspace(1e-4, 0.02, T), dim=0)
for name, x0 in [("方差=1 的数据", torch.randn(200000)),
("方差≠1 的数据", torch.randn(200000) * 3)]:
stds = []
for t in [1, 250, 500, 750, 1000]:
a = abar[t - 1]
xt = a.sqrt() * x0 + (1 - a).sqrt() * torch.randn_like(x0)
stds.append(f"{xt.std():.3f}")
print(f"{name}(std={x0.std():.2f})→ 各步的 std:{' '.join(stds)}")
真实输出:
输入尺度怎样变化
比较两列:初始标准差为 1 时基本不变;初始标准差为 3(方差为 9)时逐渐靠近 1。
| t | 输入 std=1.00:加噪后的 std | 输入 std=3.00:加噪后的 std |
|---|---|---|
| 1 | 1.000 | 3.003 |
| 250 | 0.998 | 2.283 |
| 500 | 0.999 | 1.277 |
| 750 | 1.000 | 1.016 |
| 1000 | 0.999 | 1.001 |
⚠️ 看第二行:数据方差不是 1 的时候,输入尺度会从 3.00 一路漂到 1.00 —— 同一个网络在不同 $t$ 上看到的量级差三倍。
别把两种预处理混为一谈。 缩放到 [−1, 1] 只限定范围,不保证方差为 1。例如这个区间的均匀分布方差是 1/3。
对独立的单位高斯噪声,任意输入满足 $\mathrm{Var}(x_t)=\bar\alpha_t\mathrm{Var}(x_0)+(1-\bar\alpha_t)$。输入方差为 1 时才一直为 1;代码第二组 std=3,方差其实是 9。数据尺度需要与调度配合,但这条公式不要求输入必须单位方差。
⚡ 二、闭式采样:跳过逐步加噪
记 $\alpha_t = 1-\beta_t$,$\bar\alpha_t = \alpha_1 \alpha_2 \cdots \alpha_t$。那么任意时刻都可以一步到位:
$$x_t = \sqrt{\bar\alpha_t}\; x_0 + \sqrt{1-\bar\alpha_t}\; \varepsilon, \qquad \varepsilon \sim \mathcal{N}(0, I)$$
人话:想知道第 $t$ 步长什么样,不用真的走 $t$ 步 —— 把原图乘一个数、把一份噪声乘另一个数,加起来就完了。$\sqrt{\bar\alpha_t}$ 是「原图还剩多少」,$\sqrt{1-\bar\alpha_t}$ 是「噪声占了多少」,两者平方和恒等于 1。
📐 为什么能合并(想看再点)
把两步展开:
$$x_2 = \sqrt{\alpha_2}\left(\sqrt{\alpha_1} x_0 + \sqrt{1-\alpha_1}\,\varepsilon_1\right) + \sqrt{1-\alpha_2}\,\varepsilon_2$$
$$= \sqrt{\alpha_1\alpha_2}\, x_0 + \underbrace{\sqrt{\alpha_2(1-\alpha_1)}\,\varepsilon_1 + \sqrt{1-\alpha_2}\,\varepsilon_2}_{\text{两个独立高斯相加}}$$
⭐ 关键一步:两个独立的零均值高斯相加,结果还是高斯,而且方差直接相加:
$$\alpha_2(1-\alpha_1) + (1-\alpha_2) = 1 - \alpha_1\alpha_2$$
所以那一整坨等价于一个方差为 $1-\alpha_1\alpha_2$ 的高斯。归纳下去就得到 $\bar\alpha_t = \prod_{s\le t}\alpha_s$。
合并用到了每步噪声相互独立、与数据独立、且都是高斯,以及更新的线性形式。反向依赖未知的数据分布,不能直接照抄这个合并式;见 02b 的反向过程。
🔬 亲手验证一下
两种算法应该给出同一个分布 —— 迭代法每步重采一次噪声、走 $t$ 次;闭式法只采一次噪声、算一次乘加:
# 验证:一步步加 T 次噪 vs 闭式一步跳到 t —— 两种算法得到同一个分布
import time
import torch
torch.manual_seed(0)
T = 1000
betas = torch.linspace(1e-4, 0.02, T) # DDPM 原论文的 linear 调度
alphas = 1.0 - betas
abar = torch.cumprod(alphas, dim=0) # ᾱ_t = α_1 α_2 … α_t
x0 = torch.full((20000,), 3.0) # 2 万份「同一张图」,这里把图简化成一个数
def iterative(x0, t): # 走法 A:老老实实迭代 t 次
x = x0.clone()
for i in range(t):
eps = torch.randn_like(x) # ⭐ 每一步都要重新采一次噪声
x = alphas[i].sqrt() * x + betas[i].sqrt() * eps
return x
def closed_form(x0, t): # 走法 B:闭式,一步到位
eps = torch.randn_like(x0) # ⭐ 只采【一次】噪声
return abar[t - 1].sqrt() * x0 + (1 - abar[t - 1]).sqrt() * eps
for t in [10, 100, 500, 1000]:
s = time.perf_counter(); a = iterative(x0, t); ta = time.perf_counter() - s
s = time.perf_counter(); b = closed_form(x0, t); tb = time.perf_counter() - s
print(f"t={t:4d} | 迭代 mean={a.mean():+.4f} std={a.std():.4f} ({ta*1000:6.1f} ms)"
f" | 闭式 mean={b.mean():+.4f} std={b.std():.4f} ({tb*1000:5.2f} ms)"
f" | 理论 mean={(abar[t-1].sqrt()*3).item():+.4f} std={(1-abar[t-1]).sqrt().item():.4f}")
真实输出:
逐步加噪与闭式采样
两种方法采自同一个条件分布,但各自抽取了随机噪声,所以样本均值和标准差只会近似一致。
均值和标准差
| t | 方法 | 均值 mean | 标准差 std |
|---|---|---|---|
| 10 | 迭代 | +2.9967 | 0.0435 |
| 10 | 闭式 | +2.9971 | 0.0438 |
| 10 | 理论 | +2.9972 | 0.0435 |
| 100 | 迭代 | +2.8393 | 0.3217 |
| 100 | 闭式 | +2.8381 | 0.3187 |
| 100 | 理论 | +2.8413 | 0.3209 |
| 500 | 迭代 | +0.8287 | 0.9592 |
| 500 | 闭式 | +0.8384 | 0.9678 |
| 500 | 理论 | +0.8410 | 0.9599 |
| 1000 | 迭代 | +0.0265 | 1.0017 |
| 1000 | 闭式 | +0.0140 | 0.9954 |
| 1000 | 理论 | +0.0191 | 1.0000 |
原稿计时记录(毫秒 ms)
| t | 迭代 | 闭式 |
|---|---|---|
| 10 | 3.1 | 0.22 |
| 100 | 15.4 | 0.29 |
| 500 | 90.2 | 0.18 |
| 1000 | 182.5 | 0.29 |
计时受硬件和运行状态影响;这里只比较加噪操作,不代表整个训练的加速倍数。
三组统计量很接近,支持它们来自同一个条件分布。闭式采样在分布上精确等价,不是让两次独立抽样逐元素相等。毫秒数每次会变;固定张量大小时,闭式法不需要随 t 增加循环次数。
训练时可以为每张图分别抽取 t,再一次构造整个 batch 的带噪输入。
闭式法省掉的是逐步加噪的循环;总训练还包含网络前向、反向传播等开销,不能据此断言总训练必定快几百倍。
🌑 三、终点 x_T:通常只是近似纯噪声
一直加下去,最后剩什么?直接量 $x_0$ 和 $x_t$ 的相关系数:
# x_T 还剩多少「原图的影子」:直接量 x_0 和 x_t 的相关系数
import torch
torch.manual_seed(1)
T = 1000
abar = torch.cumprod(1 - torch.linspace(1e-4, 0.02, T), dim=0)
x0 = torch.rand(200000) * 2 - 1 # 20 万个像素值,归一化到 [-1, 1]
for t in [1, 100, 300, 500, 700, 900, 1000]:
a = abar[t - 1]
xt = a.sqrt() * x0 + (1 - a).sqrt() * torch.randn_like(x0)
corr = torch.corrcoef(torch.stack([x0, xt]))[0, 1].item()
print(f"t={t:4d} sqrt(abar_t)={a.sqrt():.4f} corr(x0, x_t) = {corr:+.4f}")
真实输出:
终点还留着多少输入影响
看最后一行:线性相关很弱,但原数据系数仍不为 0。这不是“剩余信息百分比”。
| t | 原数据系数 √ᾱ | 样本相关系数 corr(x₀, xₜ) |
|---|---|---|
| 1 | 0.9999 | +0.9998 |
| 100 | 0.9471 | +0.8611 |
| 300 | 0.6296 | +0.4215 |
| 500 | 0.2803 | +0.1696 |
| 700 | 0.0835 | +0.0462 |
| 900 | 0.0166 | +0.0126 |
| 1000 | 0.0064 | +0.0031 |
上表保留原稿数值。旧稿记载的 PyTorch 2.14.0+cpu 复跑首行相关系数为 +0.9999(原稿 +0.9998),其余显示值一致;末位差异不改变这里的结论。
到 $t=1000$,样本相关系数为 0.0031,线性相关很弱。但相关接近零不是独立性的证明,更不是标准高斯分布的鉴定。这里还要结合前向公式:原数据系数小、噪声系数接近 1,终点才近似标准高斯。
为什么生成可以从随机噪声起步? 训练终点的分布被设计成接近一个容易采样的先验,因此推理可用 torch.randn(...) 起步。有限步调度留下的差距仍要检查,而不是假定两者完全相同。
0.0064 是幅度系数,不是“剩余 0.6% 的信息”。 原图对终点的影响还取决于原数据的尺度,不能把这个数直接换成信息比例。
非零终点信号会造成训练输入与推理纯噪声之间的差异。有研究在 Stable Diffusion 中观察到亮度范围受限,并同时调整终点 SNR、v 预测、采样起点及 CFG 缩放。不要只改调度而不核对训练目标和采样公式。 依据:噪声调度与采样步骤研究。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 03 · 训练目标为什么是预测噪声 | 闭式采样是训练循环的第 4 步 —— 那一页讲拿它拼出 $x_t$ 之后要让网络做什么 |
| 02b · 调度表与反向过程 | β 这张表具体该长什么样,以及反向那一半为什么不能照抄前向 |
| 机器学习的数学原理 01b · KL 散度 | 「两个独立高斯相加、方差直接相加」这类性质,是后面变分下界推导的地基 |
| NumPy 与向量化思维 03 · 广播的三条规则 | 闭式采样要对一整个 batch 同时算不同的 $t$,靠的就是广播 |
✅ 检查点
- 前向过程里有多少个可训练参数?$\beta_t$ 是学出来的吗?
- 为什么系数写成 $\sqrt{1-\beta_t}$ 和 $\sqrt{\beta_t}$ 而不是别的?“缩放到 [−1, 1]”是否等于单位方差?
- 闭式采样式 $x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\varepsilon$ 是精确的还是近似的?它成立靠的是哪个数学事实?
- 如果没有闭式采样,训练要多付出什么代价?
- $t=1000$ 时 $x_0$ 和 $x_t$ 的相关系数是多少?为什么不能仅凭这个数字就断言独立?
👀 答案
- 零个。 $\beta_t$ 是一张事先定好的表(DDPM 里从 0.0001 线性涨到 0.02),不参与训练、不需要梯度。整个前向过程是写死的公式。
- 系数平方和为 1,独立噪声的方差可以相加。输入方差为 1 时保持为 1;其他输入也能使用该公式,方差会趋近 1。[−1, 1] 的范围不保证单位方差,std=3 对应方差 9。
- 给定 x₀、t 的条件分布精确相同,因为独立高斯噪声的加权和仍是高斯,方差按系数平方累加。两次独立生成的具体样本不必相等。
- 逐步实现需要循环加噪到所选时刻;闭式实现直接构造 xₜ。原稿 t=1000 的两次计时为 182.5 ms 和 0.29 ms,只比较加噪操作,不代表整个训练的加速倍数。
- +0.0031,原数据系数为 0.0064。相关系数只衡量线性关系;还需结合前向公式和数据尺度,判断终点是否足够接近采样先验。
本节回顾
读到这里,扩散的前向那一半你已经完整了:它是一条写死的公式,而闭式采样让训练能并行。
⚠️ 什么时候看下一页:你想知道 β 那张表具体该怎么定,或者好奇「既然前向能一步跳,反向为什么不能」。
⚡ 走神救援
先记住这几件事
- 前向过程按固定规则加噪;反向过程才需要学习数据的分布。
- 闭式采样能从干净样本直接得到任意时刻的噪声样本,训练不必逐步加噪。
- 核对噪声调度、输入尺度与采样时刻,分清信号系数和噪声系数。
下一节 👉 02b-调度表与反向过程.md