🏠 总目录📚 本教程 05 · Latent Diffusion ← →

扩散模型 / 05

扩散搬到潜空间,省的是哪一种成本?

先明确尺寸/卷积与注意力假设,再分训练、文生图、图生图三路径,保留重建/KL/缩放/VQ边界。

📑 本页目录(点开跳转)

05 · Latent Diffusion:在压缩过的空间里扩散

⏱ 40 分钟 | 阅读与计数实验参考,可分次完成 | 先区分“少了多少个数”和“真的快了多少”


🎯 一句话

Latent Diffusion 把反复去噪放在较小的潜变量张量上做,最后用解码器变成图像。 它能减少某些计算开销,但尺寸比不等于整机加速比,重建误差也不是所有生成图的统一画质上限。

先记一组具体尺寸:在本页采用的 Stable Diffusion 1.x 示例中,512×512×3 的图像可编码成 64×64×4 的潜变量。元素数从 786,432 变成 16,384,是原来的 1/48。潜变量仍是一组实数,不是一张缩小后给人看的 RGB 图片。

这一页有三个入口:

上一章的 DDIM 主要改变采样方式和步数。本章主要改变反复计算发生在哪里;两者可以组合,但不能保证任意压缩率和任意步数都保持原质量。


💸 一、先把账算出来:像素空间的哪些操作很贵

512×512 的 RGB 图有 512×512×3 = 786,432 个数。若在像素空间直接去噪,网络处理的输入、输出仍是这个空间尺度的图像张量。

但 U-Net 的中间特征图不是始终 512×512:它会下采样,再逐步上采样,通道数和注意力位置也由架构决定。不能把最高分辨率的单层成本乘上总层数,当成真实 U-Net 的总成本。

一个明确假设下的卷积账

只比较一层保持空间大小的 3×3 卷积,输入、输出都为 128 通道,batch 为 1。一次乘法加一次加法计 2 FLOPs,不计偏置及其他操作。

  • 在 512×512 上,这层约要 77.31 GFLOPs。
  • 同一层运行 50 次,合计约 3.87 TFLOPs。
  • 这是浮点运算次数,不是 GPU 速度,也不是一次真实出图的总成本。

下面会把同一层移到 64×64 上比较,其他条件不动。先控制变量,才知道节省来自哪里。

“137 GB 注意力矩阵”是怎样算出来的?

假设每个像素位置是一个 token,并且在 512×512 上做全局自注意力,单头、单样本的打分矩阵有:

$$N=512^2=262144,\qquad N^2=68719476736.$$

如果把这张矩阵完整保存为 fp16,每项 2 字节,单这个矩阵就约为 137.44 GB(128 GiB)。这里 GB 按十进制、GiB 按二进制计,不能混着比。

这笔算术没有错,错的是把它读成“所有像素扩散模型都必须占这些显存”。实际模型可以在较低分辨率做注意力,也可以采用不完整保存打分矩阵的实现;模型参数、其他激活和训练梯度还要另外计算。

事实上,OpenAI 的 guided-diffusion 官方仓库已提供 512×512 像素模型,并把注意力放在指定的较低分辨率上;同一仓库也提供 64→256、128→512 的超分路线。级联超分是一种设计,不是高分辨率像素扩散唯一能走的路。


🗜️ 二、把扩散搬进潜空间:先分清你正在做哪件事

潜空间就是自编码器学到的图像表示空间。“潜”不是另一个神秘坐标系,而是模型内部用来表达图像的一组数。

自编码器有两个部分:

  • 编码器 E:从已有图像得到潜变量。本页用 $z_{\mathrm{AE}}=E(x)$ 简记一次编码结果;KL 版实际可从条件高斯后验取样,第六节再解释。
  • 解码器 D:从潜变量得到像素图像。它不是把一个小缩略图简单放大,而是学习怎样用这组数合成图像。

先训练好 E、D,再训练潜空间去噪器,是原始 LDM 的两阶段思路。原论文 §3.1–3.2给出了这个分工;具体编码细节与缩放见附录 G。

训练、文生图、图生图不是同一条流程

扩散训练:自编码器已经训练好并冻结 训练图片 512×512×3 E 得到潜变量 64×64×4 抽一个 t 加噪 直接得到 zₜ 预测噪声并计算损失 更新去噪网络 文生图:不需要把一张真实图片交给 E 潜空间高斯噪声 64×64×4 若干次潜空间去噪 使用文本条件 D 解码 生成图片 512×512×3 图生图:参考图先编码,再从选定的噪声强度开始 参考图像 E 编码 加噪到选定 t 仍在潜空间 去噪 D 解码 尺寸是本页示例;潜变量的约定缩放省略在图中,正文另行说明。
先看第二行:文生图从潜空间噪声开始,不是先压缩一张输入图片。第一行训练通常只抽一个时间点来计算损失,也不是每次训练样本都跑完整条采样链。

对应到基本单次流程:

  • 训练自编码器:E、D 都参加前向计算,训练更新会重复很多轮,不是“总共各跑一次”。
  • 训练扩散模型:编码训练图片或使用预先缓存的潜变量,随机取一个 t 加噪并训练去噪器;基础噪声预测损失在潜空间计算,不必每次解码到像素。
  • 文生图:图像 E 不运行;文本编码器是另一组件。潜空间去噪结束后,D 解码一次。
  • 图生图:先编码一次参考图,再加到选定噪声水平,从那里去噪,最后解码一次。

这里不含额外的高分辨率二次处理、阶段预览或分块解码。原始 Stable Diffusion 的 txt2img 脚本与 img2img 脚本可直接核对后两条路径。

加噪公式保留,作用对象和尺度要说清

先按模型约定把自编码器潜变量缩放成 $z_0$。前向加噪仍可以写成:

$$z_t=\sqrt{\bar\alpha_t}\,z_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad \epsilon\sim\mathcal N(0,I).$$

  • $z_0$ 是干净的、已按约定缩放的潜变量,不是 RGB 像素。
  • $\bar\alpha_t$ 控制保留多少信号;另一项加入同形状的高斯噪声。
  • 在噪声预测训练中,去噪器根据 $z_t$、t 和可选条件,预测这次实际加进去的 $\epsilon$。

例如 $\bar\alpha_t=0.25$ 时,干净信号乘 0.5,噪声乘 $\sqrt{0.75}$。系数的形式与像素扩散相同,不代表可以把任何像素模型的调度、缩放和预测目标原封不动移过来。

反复去噪器能在较小空间工作,这是潜空间路线的核心收益。E、D、文本编码等开销是否可以忽略,仍取决于分辨率、步数和具体实现;尤其步数很少时,固定开销占比会变大。


🔢 三、三个倍数,别混成一个

下表继续使用 512×512×3 与 64×64×4,batch 为 1。卷积采用前面的固定层假设;注意力只数全局自注意力的打分矩阵元素。

比较项 像素尺寸上的数量 潜空间尺寸上的数量 比值
输入/输出元素数 786,432 16,384 48
一层 128→128 的 3×3 卷积 77.31 GFLOPs 1.208 GFLOPs 64
全局自注意力打分矩阵项数 $6.872\times10^{10}$ $1.678\times10^7$ 4096

48 看的是总元素。 高和宽各除以 8,让空间位置减少 64 倍;通道从 3 改成 4,所以元素数只减少 48 倍。

64 看的是同通道卷积。 两边都为 128→128,卷积核也一样,计算量随空间面积变成原来的 1/64。如果比较输入首层,通道分别为 3→128 和 4→128,得到的又是 48 倍。

4096 看的是位置两两配对。 全局自注意力矩阵为 N×N;N 减少 64 倍,矩阵元素数减少 $64^2=4096$ 倍。

有两个限制必须和这张表一起看:

  1. 这是三个局部计数,不是实际两个完整模型的架构对比。通道、网络深度、层所在分辨率、模型调用次数和内存实现变化,都会改变总成本。
  2. 图像对固定长度文本的交叉注意力是 N×M,不是 N×N。M 不变时,打分矩阵按 N 缩放;不能把 4096 倍直接套过去。注意力层的投影和其他操作也不全按 N² 变化。

🧪 四、动手:这笔账自己算一遍

这是计数实验,不是模型性能测试。 保留下面完整的 PyTorch 小程序:它只创建两个小 CPU 张量来数元素,不下载模型,也不需要 GPU。运行环境需有 PyTorch;numel() 返回元素总数,不返回字节数。

卷积函数假设输出高宽与输入相同,batch 为 1、不分组,一次乘加算 2 FLOPs,忽略偏置。程序没有真的执行卷积或注意力,也不会申请前面那张巨大的矩阵。

# 像素空间 vs 潜空间:同一件事各要花多少算力(纯计数,不测秒)
import torch

def conv_flops(cin, cout, k, hw):
    """一层 k×k 卷积:每个输出元素做 cin*k*k 次乘加,一次乘加算 2 FLOPs"""
    return 2 * cin * cout * k * k * hw * hw

C_PIX, H_PIX = 3, 512      # 一张 512×512 的 RGB 图
C_LAT, H_LAT = 4, 64       # Stable Diffusion 的潜空间

n_pix = torch.zeros(C_PIX, H_PIX, H_PIX).numel()   # ⭐ 每一步要去噪的东西有多少个数
n_lat = torch.zeros(C_LAT, H_LAT, H_LAT).numel()
print(f"每步要去噪的量:  {n_pix} 个数  vs  {n_lat} 个数  → 压缩 {n_pix // n_lat} 倍")

f_in_p = conv_flops(C_PIX, 128, 3, H_PIX)          # ① 首层:把输入通道抬到 128
f_in_l = conv_flops(C_LAT, 128, 3, H_LAT)
print(f"首层 3x3 卷积:   {f_in_p/1e9:7.2f} GFLOPs vs {f_in_l/1e9:6.3f} GFLOPs → {f_in_p/f_in_l:.0f} 倍")

f_bd_p = conv_flops(128, 128, 3, H_PIX)            # ② 主干:通道数一样,差别全在分辨率
f_bd_l = conv_flops(128, 128, 3, H_LAT)
print(f"主干 128→128 卷积:{f_bd_p/1e9:6.2f} GFLOPs vs {f_bd_l/1e9:6.3f} GFLOPs → {f_bd_p/f_bd_l:.0f} 倍")

a_p, a_l = (H_PIX ** 2) ** 2, (H_LAT ** 2) ** 2    # ③ 全局自注意力:每个空间位置一个 token
print(f"注意力矩阵项数:  {a_p:.3e}     vs {a_l:.3e}    → {a_p // a_l} 倍")

for steps in (50, 1000):                           # ④ 再乘上采样步数
    print(f"走 {steps:4d} 步,光②这一层就要: 像素空间 {f_bd_p*steps/1e12:6.2f} TFLOPs"
          f"  vs  潜空间 {f_bd_l*steps/1e12:5.3f} TFLOPs")

这段程序已独立执行,原来的输出数值保留如下。前四项也可以与上一节的公式手算互相核对。

程序计算的项目 像素尺寸 潜空间尺寸 比值
每步去噪元素 786432 16384 48
输入首层 3×3 卷积 1.81 GFLOPs 0.038 GFLOPs 48
主干假设层 128→128 卷积 77.31 GFLOPs 1.208 GFLOPs 64
全局自注意力矩阵元素 6.872e+10 1.678e+07 4096
这一个 128→128 层重复多少次 像素尺寸合计 潜空间尺寸合计
50 次 3.87 TFLOPs 0.060 TFLOPs
1000 次 77.31 TFLOPs 1.208 TFLOPs

看最后两行:在这个假设层上,潜空间执行 1000 次的计数,确实小于像素尺寸执行 50 次。它不证明“真实潜空间模型跑 1000 步比另一模型 50 步更快”——那需要实际模型、相同设备与明确质量条件的测量。

少步数与较便宜的单次调用可以同时节省工作量。在这个简化模型里,成本就是“调用次数 × 每次 FLOPs”;完整管线还要加固定组件、调度和数据搬运等成本。

可以在这里停:你已经知道 48/64/4096 分别在比什么。后半页转向另一个问题——压缩会影响什么、怎样查明原因。


🔍 五、代价:先查重建,再谈细节从哪里损失

自编码器通常追求感知上接近原图,不是无损逐像素还原。它可能把细笔画、规则网格、密集纹理等细节重建错;具体问题要对着具体模型和图片检查。

重建图是诊断工具,不是所有生成图的硬上限

把一张已知原图只做编码、解码,得到:

$$\hat x=D(E(x)).$$

这个测试回答的是:当前自编码器能否通过这次编码,把这张输入图重建回来? KL 版还要明确使用后验均值还是固定随机种子的采样,避免每次编码本身的随机性干扰对照。

  • 原图中的清晰小字在重建后已损坏:说明编码—解码阶段值得优先排查,不必把这次损坏归因于采样器。
  • 重建能保留小字,生成却写错:不能再用这次重建结果给压缩定罪;还要查训练数据、条件对齐、生成先验、采样和后处理。
  • 这只是排查方法。本页没有加载真实图像自编码器做小字实验,也没有声称某个具体 VAE 一定会糊字。

固定解码器的可表达范围确实约束输出,但 $D(E(x))$ 不是任意生成图片、任意画质指标的数学上限。文生图并没有先编码这张 x;它生成的潜变量也不必等于 E(x)。

即使讨论同一张 x,编码器给出的 E(x) 也不自动等于“在这个解码器下最优的潜变量”。更长采样不能保证找回被输入编码丢掉的具体信息,但模型可以依据数据规律合成新细节;合成得像不等于忠实恢复了原细节。

下采样 8 倍,不是把图切成互不相干的 8×8 小块

512→64 说明潜变量网格在高、宽方向各稀疏了 8 倍。按整体数量平均,每个潜格对应原图 64 个空间位置,即 192 个 RGB 数对 4 个潜通道数。

这只是数量平均,不能当成信息分区。 编码器有多层卷积和下采样,相邻潜格的感受野可以重叠,一个潜格能受更大区域影响;解码时相邻格也共同影响像素。CompVis 的编码器实现可看到这些操作。

因此,小字只占几像素不意味着它必然被锁在某一个潜格、必然丢失。远景人脸、手指、细纹理也不能只凭格点尺寸归为同一种错误;数据、训练目标和结构建模都可能参与。

三条改进路线:都需匹配模型能力并验证

1. 降低空间压缩率。 若同一张 512 图从下采样 8 倍改为 4 倍,潜网格从 64×64 变为 128×128。更多空间位置可能有利于保留细节,但在同通道假设下卷积位置数增加 4 倍,全局注意力打分矩阵增加 16 倍;不是“整个模型必然只贵 4 倍”。

2. 增加潜通道。 4 通道不是 LDM 的定义。原始 SD 1.x 与 SDXL 的具体自编码器配置使用 4 通道;SD3 参考实现和 FLUX.1-dev/schnell 的公开配置使用 16 通道。更多通道提供更大的表示容量,但不能只换一个数字或解码器,就保证旧去噪模型正常工作或小字变清楚。

这些例子按具体版本核对:SD 1.x 配置、SDXL 配置、SD3 的 VAE 实现、FLUX.1 的自编码器参数。它们不是说以后所有同名系列都固定采用这些通道数。

3. 使用与模型匹配的更高分辨率。 下采样仍为 8 倍时,1024×1024 对应 128×128 潜网格。如果同一个文字区域也随画面同比放大,它能覆盖更多潜格;但如果只是增加画布、字仍只有原来的像素大小,这个推论就不成立。更高尺寸还要考虑模型训练范围、位置表示、算力和重建能力。

这三条都在改变模型的表示或工作条件,不能保证独立于训练而提升质量。应使用一致的原图重建、生成任务和评估口径做对照。


⚖️ 六、KL 项在这里到底管什么

先区分两类“高斯”,否则很容易把这节读反:

  • 自编码器的后验 $q_\phi(z_{\mathrm{AE}}\mid x)$:给定一张真实图,它的潜变量可以是什么。KL 正则约束的是这层分布。
  • 扩散采样的末端噪声 $z_T$:文生图开始去噪时抽的噪声。它不是已经能直接解码为合适图像的干净潜变量。

所以“LDM 不从高斯噪声开始”是错的。正确的区别是:它先把噪声经去噪模型转成学到的潜变量分布,再交给 D,而不是跳过去噪直接解码初始噪声。

KL 是权衡,不是把每张图都变成标准正态

KL 版编码器输出一个依赖 x 的高斯后验,$\phi$ 只是编码器参数的记号。以对角高斯为例,有均值和标准差,再从中取样;同一 x 的采样可以不同。这里 $\mathcal N(0,I)$ 表示各维均值为 0、方差为 1 且相互独立的高斯参考分布。

KL 惩罚把这个后验往标准正态拉,避免潜变量尺度任意扩张。这里只展示损失的组成示意,不是原论文完整的对抗训练公式:

$$\mathcal L_{\mathrm{AE}}=\mathcal L_{\mathrm{rec}}+\lambda_{\mathrm{KL}}\mathcal L_{\mathrm{KL}}+\lambda_{\mathrm{adv}}\mathcal L_{\mathrm{adv}}.$$

$$\mathcal L_{\mathrm{KL}}=\mathbb E_x\!\left[D_{\mathrm{KL}}\!\left(q_\phi(z_{\mathrm{AE}}\mid x)\,\|\,\mathcal N(0,I)\right)\right].$$

  • $\mathcal L_{\mathrm{rec}}$ 表示重建方面的目标,原始 LDM 的方案还采用感知损失,不只逐像素误差。
  • $\mathcal L_{\mathrm{adv}}$ 是生成侧的对抗项;判别器有自己的训练目标,本式没有把整个极小极大过程写出来。
  • $\lambda_{\mathrm{KL}}$ 控制重建与潜变量正则之间的权衡。论文使用较弱正则,附录 G报告了约 $10^{-6}$ 的 KL 权重;这不是任意实现、任意损失归一化下都能照搬的默认值。

一个重要反例:如果每张图的后验都被强制为完全相同的 $\mathcal N(0,I)$,z 的分布就不再依赖 x,反而难以携带这张图的重建信息。因此不能把“每图后验严格标准正态”当成自编码器训练成功的条件。

与普通 VAE 的区别,不是“一个 KL 必须大,一个必须小”

比较项 从固定先验生成的普通 VAE LDM 的两阶段方案
生成的干净潜变量来自哪里 从指定先验采样后解码 由学习到的潜空间生成模型产生,再解码
自编码器重建质量 需要与潜变量正则权衡 同样要权衡,表示需适合后续生成学习
后验是否每张图都必须标准正态 不要求完全相同 同样不要求完全相同
KL 权重能否仅凭模型名决定 不能 不能

普通 VAE 的固定先验与编码数据的潜分布不匹配,可能影响生成质量;但不等于“只要不完全相同,所有样本就都是噪声”。LDM 学习更灵活的潜空间生成分布,也不等于它能轻松学好任意不规则的编码。

缩放常数解决的是噪声调度的尺度配合

在前面的加噪公式中,若把同一干净潜变量整体乘 100、其他设置不动,它的信号方差会乘 10,000;同一份单位方差噪声的相对强度就变了。公式仍成立,但信噪比与训练时设计的不再相同,终点是否足够接近纯噪声也可能受影响。

这不意味着“数据方差不是 1 就不能扩散”。可以约定潜变量缩放、调整噪声调度,或采用其他一致的参数化;关键是训练与采样使用相同约定。

SD 1.x 的一个具体约定是:

$$z_0=s\,z_{\mathrm{AE}},\qquad s=0.18215.$$

送进扩散模型前乘 s,交给原自编码器解码前再除回去,即输出为 $D(z_0/s)$。对应实现可核对 CompVis 的潜空间扩散代码;不要对输入像素或文本向量随意套这个缩放。

原始 LDM 论文在 KL 版本里描述过按一批潜变量估计标准差再缩放的做法。但 0.18215 是具体模型约定,不是所有 LDM 的数学常数;SDXL 等模型有各自配置。

即使缩放后的总体标准差接近 1,也不证明每张图的后验是标准正态,更不证明整组潜变量独立。反过来,某个缩放常数非 1 也不能单独证明“KL 失败”;还要看定义、损失权重和数据分布。

VQ 版本:码本是离散的,不等于 LDM 在离散 token 上扩散

原论文还提出另一条正则路线:向量量化(VQ)用码本存一组向量,把连续表示映射到距离最近的码本项。码本索引可以构成离散 token;其他 VQ 生成系统确实可以用自回归模型预测索引。

但 LDM 原论文的 VQ 版本没有因此改为离散 token 扩散。它取量化之前的连续潜表示作为扩散对象,把量化操作放进解码器的开头。

路线 生成模型处理什么 量化在哪里
KL 正则的 LDM 连续潜变量 没有 VQ 码本量化
原论文 VQ 正则的 LDM 仍是量化前的连续潜变量 解码时先经过量化,再还原像素
自回归 VQ token 模型 码本索引序列 这是另一种生成建模路线,不要与上一行混同

这一点可以直接检查 CompVis 的 VQModelInterface:encode 返回连续 h,decode 内部调用量化。两种 LDM 都在学习的表示空间中做生成,不是在证明某个固定潜先验已经完美拟合数据。


🔗 这一章连到哪里

去哪 为什么
数学原理 01b · KL 散度 核对 KL 两个参数的方向与不同目标的含义;不要仅凭“反向 KL”四个字,就断言本页高斯后验必然偏窄或已经覆盖全部图像信息
ML 基础 06 · 无监督:聚类与降维 对照 PCA 的线性投影与自编码器的学习表示。小方差不天然等于噪声,自编码器也不是统一丢掉“小字”;保留什么取决于数据、容量与目标
AI 基础设施 09 · 显存优化全家桶 潜空间减少某些重复计算;显存还包括参数、激活、梯度和优化器状态。训练遇到 OOM 时,要按实际占用选技术,不能把 FLOPs 比当显存比
全景导论 10b · 图像生成 从本页返回组件总览,重新看自编码器、去噪主干和条件控制各负责什么;导论已经链接到本站完整《扩散模型》板块,不再需要为了本主题另找站外入口

✅ 检查点

  1. 本页 SD 1.x 尺寸例子中,512×512×3 和 64×64×4 各有多少元素?48 倍是在比什么,能否泛化为所有潜空间模型?
  2. 137.44 GB(128 GiB)是按哪些假设算出的?它为什么不是所有像素扩散模型必需的显存?
  3. 训练去噪器、文生图、图生图三种流程中,图像编码器 E 与解码器 D 各在什么时候出现?为什么不能统一说“E、D 各跑一次”?
  4. 48、64、4096 分别比较什么?输入首层与同通道主干层有什么区别?图像对固定长度文本的交叉注意力能套 4096 倍吗?
  5. $D(E(x))$ 能用于诊断什么,为什么不能当成所有生成图片或指标的严格画质上限?
  6. 下采样 8 倍时,192 个 RGB 数与 4 个潜通道数是怎样算出的?为什么不表示独立 8×8 小块?压得更轻、加通道或加大分辨率是否都保证改善细节?
  7. KL 正则、扩散初始高斯噪声与 0.18215 缩放分别负责什么?普通 VAE 是否要求每图后验完全一样?原论文 VQ-LDM 的去噪对象是连续潜变量还是离散码本索引?
👀 答案
  1. 786,432 与 16,384 个元素,前者是后者的 48 倍。这是本页指定高、宽、通道的张量元素比,不是实际生成速度或所有 LDM 的固定压缩率。
  2. 单样本、单头、512×512 个 token 做全局自注意力,N² 项的整张打分矩阵按 fp16 每项 2 字节保存,约为 137.44 GB,即 128 GiB。实际可以在较低分辨率做注意力或不完整保存矩阵,还要另算其他存储,所以它不是必需显存的通用下界。
  3. 训练去噪器编码训练图或读缓存潜变量,抽 t 加噪算潜空间损失,基础流程不必解码;文生图从潜空间噪声开始,不经过图像 E,最后 D 解码;图生图先 E 编码参考图,再加噪和去噪,最后 D 解码。自编码器自身训练又是另一阶段,E、D 要随训练重复前向与更新。
  4. 48 是输入/输出元素比,也是在本例 3→128 与 4→128 首层假设下的卷积 FLOPs 比;64 是同核、同 128→128 通道层的空间面积比;4096 是 N×N 全局自注意力矩阵元素比。固定文本长度 M 的交叉注意力为 N×M,打分矩阵随 N 线性缩放,不能直接套 4096;整层其他运算也需另算。
  5. 它检验当前自编码器对给定原图的重建表现,能帮助隔离编码—解码造成的损坏。但文生图不先编码那张 x,生成潜变量不必等于 E(x),E(x) 也不保证是固定 D 下的最优编码。因此不能从单次重建推出任何生成图、任何指标都不能更好。
  6. 空间面积平均缩小 8²=64 倍,64×3=192 个原图通道数对应 4 个潜通道数;这只是整体数量平均。多层卷积有重叠感受野,潜格不是独立小块。更多位置或通道提供容量,但还要匹配训练、模型和算力;更大画布也不保证同一字真的变大,三条路线都没有无条件质量保证。
  7. KL 约束图像条件后验,初始高斯噪声是扩散采样的起点,0.18215 是特定 SD 1.x 的潜变量尺度约定,解码前需逆变换。普通 VAE 与 LDM 都不要求每图后验完全一样;一样反而丢失对输入的依赖。原论文 VQ-LDM 对量化前连续表示做扩散,量化被归到解码器,不能把它说成离散 token 扩散。

本节回顾

你已经能区分:潜空间缩小了什么、几种流程分别在哪里编码、重建对照能证明什么。这些比背下三个加速倍数更重要。

回来排查时,从具体问题进入:算力/显存口径、细节与重建、潜变量缩放、KL 与 VQ 的区别。训练 OOM 可去上面的显存优化链接,不必把整页重读。

⚡ 走神救援

先记住这几件事

  • 文生图从潜空间噪声去噪再解码,不先编码一张真实图片。
  • 48/64/4096 是带假设的不同计数,不能冒充实际模型加速比。
  • 重建用来排查表示瓶颈,不是所有生成图的统一画质上限。
  • 潜变量正则、尺度约定和采样噪声不同;VQ-LDM 仍可对连续表示做扩散。

下一节 👉 06 · 条件控制与 CFG

下一节再看提示词如何参与去噪,以及 guidance scale 改变的是哪一个组合,而不只问“滑块越大是不是越好”。

打卡记录保存在你的浏览器里,首页能看到总进度