🏠 总目录📚 本教程 附录A · 速查 ←

扩散模型 / 附录A

公式或参数记不清时,先按哪个症状查?

以公式、历史实验条件、症状、旋钮和术语为直接查询入口,保留全部表项与回链。

📑 本页目录(点开跳转)

附录A · 速查

⏱ 18 分钟 | ⭐ 公式、数字、症状反查 —— 用到哪查哪,不用从头读


🧭 怎么用这一页

四张表各管一件事:公式用来回忆推导落点,数字用来判断量级对不对, 症状反查用来定位问题,旋钮用来调参。每一行都能点回本板块的某一章。


🔢 一、公式速查

在做什么 式子 出处
前向加噪(一步) $x_t = \sqrt{1-\beta_t}\,x_{t-1} + \sqrt{\beta_t}\,\varepsilon$ 02 · 加噪与去噪
⭐ 闭式采样(一步跳到任意 $t$) $x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon$,其中 $\bar\alpha_t=\prod_{s=1}^{t} \alpha_s$ 02
训练损失 $L_{\text{simple}} = \|\varepsilon - \varepsilon_\theta(x_t, t)\|^2$ 03 · 训练目标
从 $\varepsilon$ 反推干净图 $\hat x_0 = (x_t - \sqrt{1-\bar\alpha_t}\,\varepsilon_\theta)/\sqrt{\bar\alpha_t}$ 04 · DDIM
CFG 合成 $\tilde\varepsilon = \varepsilon_{\text{uncond}} + s\,(\varepsilon_{\text{cond}} - \varepsilon_{\text{uncond}})$ 06 · 条件控制与 CFG
LoRA 旁路 $W'=W+BA$;输出 $y=Wx+B(Ax)$,此处省略偏置、缩放取 1 08 · ControlNet 与风格 LoRA

闭式采样与逐步加噪得到相同的条件分布,不代表两份独立随机样本逐元素相等。这里 $\varepsilon$ 是与 $x_0$ 独立的标准高斯噪声,$\alpha_s=1-\beta_s$,时间从 1 计数。

把 LoRA 的矩阵和输出分开读

$$y=Wx+B(Ax)$$

若 $W$ 为 $d_{\rm out}\times d_{\rm in}$,$A$ 为 $r\times d_{\rm in}$,$B$ 为 $d_{\rm out}\times r$,那么 $BA$ 才能与 $W$ 相加;$B(Ax)$ 是一个输出向量,不能直接加到权重矩阵上。

本例缩放系数取 1、略去偏置;实际实现还要核对缩放约定。

用一个两维输入跟一遍:$x=(2,3)$,$W=I_2$,$A=(1,0)$,$B=(0,1)^\top$。

  1. 基础输出:单位矩阵不改变输入,$Wx=(2,3)$。
  2. 旁路输出:先得到 $Ax=2$,再得到 $B(Ax)=(0,2)$。
  3. 两路相加:$(2,3)+(0,2)=(2,5)$。

📐 二、实验记录与适用条件

下列数值保留对应章节的实验记录;计时、浮点末位和抽样结果不是跨环境保证。合成实验不能当成真实图像模型的质量测量。

量 值 它说明什么
$\beta_t$ 的范围(DDPM linear) 0.0001 → 0.02,$T=1000$ 一张写死的表,零个可训练参数
闭式 vs 迭代($t{=}1000$) 0.29 ms vs 182.5 ms 已预计算系数时,闭式采样不必迭代 t 步;这里只计加噪,不是整网加速比
$x_T$ 与 $x_0$ 的相关系数 0.0031 本次样本的相关性很弱;小相关不等于独立,终点残余信号还取决于调度
示例条纹经 8 倍下采样的投影系数 0.0000 本例条纹被平均池化抵消,不是所有高频的统一保留率
512²×3 → 64²×4 786432 → 16384,压缩 48 倍 同通道与内核假设下,空间项缩小 64 倍、稠密注意力的二次项缩小 4096 倍;不是总耗时倍数
一个潜空间格子 8×8=64 个像素,192 个数压成 4 个 仅按张量尺寸平均摊算,不表示每格只看不重叠的 8×8 区域;质量还受模型与训练影响
CLIP ViT-L/14 文本输出 77 × 768 这是指定编码器配置的长度;截断或分块策略依实现,不推广到所有模型
CFG 训练时丢条件的概率 约 10% free 指的是不用额外分类器
ControlNet 零初始化(第 0 步) 输出差 0.0,而梯度 2501.0 本例接入输出差为 0,零卷积权重有梯度;上游支路首步梯度要另看
同样位置用默认初始化 第 0 步就把主干改动 2.217 本例初始输出的对照;说明该设计的用意,不证明其他稳定接入方案不存在
LoRA rank(768→320 那层) r=4 → 1.77% 参数,r=64 → 28.33% 本例仅比较 r=4 与 r=64;适合范围需按任务验证
FID:同分布、真值应为 0 n=100 → 21.4,n=10000 → 0.214 64 维合成特征中出现有限样本偏差;不是真实图像 Inception FID,也不是一律无意义
FID:高斯 vs 每维 ±1 0.1127(同分布基线 0.1088) 合成特征的一、二阶矩接近,使这个指标接近;分数不是严格相等

🚨 三、症状反查

现象 先怀疑 去哪一章
训练 loss 降了但采样出来一团糊 采样器的调度表和训练时的 $\bar\alpha$ 对不上 02、04
数据没归一化就开训 本例 std=3 对应方差 9;标准差趋近 1 不等于只把数值缩到 [−1,1] 02
采样太慢 分别测模型、分辨率、batch、步数与采样器;20–50 步是可试配置,不保证质量达标 04
同一个种子出的图不一样 模型 / 步数 / 调度 / 提示词要全同,连浮点归约顺序都算 04
两个噪声之间插值出来是糊的 比较范数与输出:本例线性中点范数 90.51,低于约 128 的典型半径;球面插值是一种选择,不是所有插值的硬规定 04
小字、远景人脸、手指画不好 比较 VAE 重建、去噪与条件理解,不能不做对照就全部归因于 VAE 05 · Latent Diffusion
提示词后半段像没生效 检查实际编码器长度、截断和长提示处理;77 只适用于指定配置 06
出图过饱和、构图崩、每次都差不多 CFG 的 s 太大 —— ⚠️ s>1 是外推不是插值 06
加了 ControlNet 显存爆了 要保存额外的可训练支路和激活;不是简单复制并训练完整去噪主干 08
两个 LoRA 一起用互相打架 权重要调,叠加会干扰 08
FID 比别人论文高/低很多 ⚠️ 先问三件事:样本量、真图取自哪、resize 方式 09 · 怎么评估

🎚️ 四、你会调到的旋钮

旋钮 调大会怎样 调小会怎样
采样步数 慢;收益会饱和 快;太少则细节垮掉
CFG scale s 可能增强条件影响,也可能过饱和或降低多样性;用当前任务验证 本式 s=1 就是条件预测,没有额外外推;s=0 才是无条件预测
η(DDIM 随机性) 增加采样随机性;对应 DDPM 还要求时间网格与方差约定匹配 η=0 不额外注入采样噪声;复现仍需初始噪声、模型、设置与数值执行一致
strength(图生图) 改动越大,越不像原图 越贴近原图
LoRA rank r 表达力强、参数多(r=64 → 28.33%) 省参数(r=4 → 1.77%),表达受限程度要在实际任务上比较,不能按 rank 单独断定学不动
LoRA 权重 影响通常更强,也可能干扰基础能力;强度不一定单调 风格若隐若现

📖 五、术语对照

词 一句话
前向过程 加噪。固定的、不用学,$\beta$ 是一张写死的表
反向过程 去噪。这才是学出来的那一半
$\bar\alpha_t$ 从 0 到 $t$ 的 $\alpha$ 连乘。它决定本调度下的信号缩放系数,不能直接当作信息保留百分比
方差保持 $(1-\beta)+\beta=1$,所以输入方差是 1 时每步都还是 1
ELBO / 变分下界 损失的出处。⚠️ 前置在数学原理 01b · KL 散度
$L_{\text{simple}}$ 常用的噪声预测均方误差简化目标;各时间步相对权重取决于调度、采样与参数化,不统一说后期更高
参数化(ε / x₀ / v) 在有效噪声系数下可互相换算,但未匹配权重的训练目标和参数梯度不等价
DDIM 非马尔可夫的采样器。⭐ 不用重训,因为它和 DDPM 的边缘分布一样
η 控制 DDIM 的随机项;0 为确定性轨迹,1 与 DDPM 的对应需核对时间网格与方差
Latent Diffusion 在自编码器的潜空间里做扩散;Stable Diffusion 是采用这类思路的一组模型
交叉注意力 条件进入去噪的通道:Q 来自图像、K/V 来自文本
CFG 在同一状态得到条件/无条件两份预测再组合;可以合成一次批量调用,s>1 为外推
U-Net 具有下采样、上采样与跨尺度连接的主干;拼接或相加取决于具体实现
DiT 把潜空间切 patch 当 token,用 Transformer 当去噪主干
adaLN-Zero DiT 里那个零初始化的门控 —— 和 ControlNet 是同一个想法
ControlNet 原始 SD 方案复制编码器和中间块,零初始化卷积连接跳连与中间块
FID 两堆特征各当高斯,算 Fréchet 距离。⚠️ 只用了均值和协方差
CLIP Score 常基于图文表示的余弦匹配,具体实现可能缩放或截断;不能等同事实正确性或审美质量

🔗 这一页连到哪里

公式依据:LoRA 原论文说明低秩权重更新;DDIM 原论文说明采样轨迹与随机项;Latent Diffusion 原论文说明自编码器潜空间与条件机制。表中的教学实验数字只对应各章标注的设置。

去哪 为什么
00 · 怎么用这份教程 三条读法路线,以及这个板块不讲什么
大模型全景导论 10b · 图像生成 先分清图像生成的目标与路线,再按需回到本模块实验
机器学习的数学原理 01b · KL 散度 ELBO 的地基 —— 03 章那段推导建在它上面
大模型全景导论 06c · 解码参数怎么调 两者都影响输出,但机制不同:CFG 组合条件预测,temperature 缩放候选 logits,不能互换解释
AI基础设施 09 · 显存优化全家桶 潜空间省下来的那笔账,在训练侧还有一整套别的省法
打卡记录保存在你的浏览器里,首页能看到总进度