扩散模型 / 00 · 导读
二维点云怎样帮助理解扩散模型?
从二维去噪实验出发,理解加噪公式、训练目标和图像生成的控制方法。
理解二维去噪与真实图像生成之间的联系和边界。
📑 本页目录(点开跳转)
00 · 怎么用这份教程
⏱ 20 分钟 | ⭐ 先观察一个去噪例子,再按问题看原理或控制方法
🎯 一句话
这套教程只回答一个问题:从一团纯随机的噪声里,怎么可能长出一张具体的图。 它不教提示词、不横评产品、不教任何 WebUI —— 它讲这套东西为什么能工作,以及它的代价。
🕳️ 一、先知道自己要看哪一层
想先知道图像生成领域有什么,可以看 全景导论 10b · 图像生成。
这里展开具体机制:加噪与去噪、DDPM 与 DDIM、Latent Diffusion、U-Net 与 DiT、ControlNet、风格 LoRA、图生图与局部重绘,以及 FID / CLIP Score 的评估边界。
第一次接触,先看第 01 章的二维玩具数据。 先观察分布如何变化,再决定要不要进入数学推导;这个小例子不等于已经生成了真实图片。
🚧 二、和站内别的板块的分界
| 那边 | 这里 | 分界 |
|---|---|---|
| 全景导论 10b:14 分钟,U-Net/VAE/CFG/ControlNet 一人一行 | 那一行行的展开:各自解决什么问题、代价是什么、什么时候失效 | 领域概览 vs 机制展开 |
| 全景导论主线 2:注意力+残差+FFN,一个词一个词往下写 | 从纯噪声开始,所有像素同时变清晰 | 两种范式。⚠️ 不是替代:07 章的 DiT 用回的正是它 |
| 数学原理 01b 讲 KL、13 讲 ELBO | 直接拿来用:训练目标是一串 KL,简化后塌成一行均方误差 | 前置数学 vs 用法,这里不重讲 KL 是什么 |
| ML 基础 12 · CNN:卷积、感受野、池化、残差 | U-Net 怎么在这些零件上加跳跃连接和上采样 | 零件 vs 装配。⚠️ 上采样站内没有,归 07 章 |
⛔ 三、它不讲什么
❌ 提示词怎么写、各种咒语 ❌ 横评哪个模型/服务更好 ❌ 某个 WebUI 的按钮在哪 ❌ 视频与 3D 生成的完整方案(09 章只提一句共同骨架)。
⭐ 判断标准只有一条:换个产品就得重写的不写,换个产品照样成立的才写。 所以 06 章不讲怎么拖 CFG 那个滑块,只讲它在数学上到底在调什么。
🗺️ 四、章节地图(12 个阅读单元,含本章与附录)
| 章 | 它回答的问题 |
|---|---|
| 01 第一天:从噪声里捞出一张图 | CPU 上训练二维玩具模型,比较采样分布;耗时取决于环境 |
| 02 加噪与去噪 | 前向为何能直接构造任意时刻的带噪样本 |
| 02b 调度表与反向过程 | 调度怎样分配噪声水平,反向预测要估计什么 |
| 03 训练目标为什么是「预测噪声」 | 变分下界怎么塌成一行均方误差 |
| 04 DDIM 与采样加速 | 50 步和 1000 步差在哪,确定性采样换来了什么 |
| 05 Latent Diffusion | 省的到底是哪部分开销,VAE 又带来什么损失 |
| 06 条件控制:文本与 CFG | 提示词塞在哪一层,CFG 的两次前向各算什么 |
| 07 去噪主干:U-Net 与 DiT | 为什么去噪偏爱 U 形,换成 Transformer 得到了什么 |
| 08 ControlNet 与风格 LoRA | 「照这个骨架画」和「照这个画风画」是两件事 |
| 09 怎么评估:FID / CLIP Score | 这两个数字各自看不见什么 |
| 附录A 速查 | 公式、符号、调参项、常见报错 |
⭐ 01 → 02 → 02b → 03 是一条主线(03 会用到前两页的记号);04 之后可按问题跳读,缺少概念时沿各章前置链接补齐。
🚦 五、三条读法
① 想先看见它动(第一次接触推荐这条)
👉 01 → 02 → 05。01 让你跑出一个真的扩散模型,02 解释你刚跑的那些行,05 说清从玩具到真实图片还差哪一步。
② 想搞懂数学、能自己推
👉 02 → 02b → 03 → 04。一条推导链:加噪的闭式解 → 下界怎么塌成均方误差 → 放松「必须一步步走」会怎样。⚠️ 卡住就回 数学原理 01b 和 13。
③ 只想搞明白手上那些参数和插件
👉 06 → 08 → 04,需要时补 09。前面五章都不是硬前置,06 会把记号重新交代一遍。
🧰 六、你需要准备什么
- Python + PyTorch(CPU 版就够)。本板块的小实验可在 CPU 上执行,耗时取决于机器、线程与软件版本;第 04、09 章还需要 NumPy。
- 知道什么是神经网络和训练循环。不熟就先去 ML 基础 15 · PyTorch 实战手册,那里有可直接抄的完整模板。
- 高中概率。数学都给,但每条公式配一句人话,推导放折叠块里,不看也能往下走。
- ⚠️ 不需要 GPU,不需要下载任何模型权重 —— 代价是 01 章用二维玩具数据而不是真图片,但机制是同一套。
- 不需要读过站内任何别的板块。
🔗 这一章连到哪里
| 相关的地方 | 为什么 |
|---|---|
| 全景导论 10b · 图像生成 | 想先看领域概览、区分模型和控制方法,可以从这一页开始 |
| 全景导论主线 2 · 模型怎样看懂一句话 | 另一种生成范式。⭐ 那张「注意力 → 残差 → FFN」的信息路径图,正是 07 章 DiT 的骨架 |
| 数学原理 01b · KL 散度 | 那一章讲了前向 KL 逼你盖住所有峰、反向 KL 允许只蹲一个峰,这个区别 03 章会直接用 |
| 数学原理 13 · EM 与高斯混合 | ELBO 的正式出处:E 步把下界顶到贴着似然、M 步抬高下界。扩散的变分下界是同一套换了场景 |
| ML 基础 12 · CNN 处理图像 | U-Net 的零件全在那儿:卷积、感受野、池化、⭐ 残差连接 |
| 全景导论 15 · 数学地基 | 它的清单里「马尔可夫链 / 变分推断」备注写着「只有挖图像生成才需要」—— 你正在挖的就是它 |
✅ 检查点
- 第一次接触扩散,应先观察哪种例子?它和真实图片有什么区别?
- 全景导论 10b 和本板块是不是重复?分界在哪?
- 本板块不讲哪四类东西?判断标准是哪一句?
- 扩散和自回归是两种范式,它们在本板块里有交汇的地方吗?在第几章?
- KL 散度和 ELBO 归哪个板块?本板块拿它们做什么?
- 跑本板块的代码需要 GPU 吗?代价是什么?
👀 答案
-
先看 01 的二维玩具数据,观察从噪声到目标分布的变化。它帮助理解机制,不需要下载图像模型权重,但不是真实图片生成系统。
-
不重复。索引 vs 深挖:10b 只有 14 分钟,把 U-Net/VAE/CFG/ControlNet 一人一行列完;本板块展开每一行的「解决什么问题、代价、什么时候失效」。
- ① 提示词 ② 横评模型/服务 ③ WebUI 操作 ④ 视频/3D 的完整方案。标准:换个产品就得重写的不写,换个产品照样成立的才写。
- 有 —— 07 章的 DiT:去噪主干换成 Transformer,用的正是自回归那套里的同一种结构。两者不是替代关系。
- 归 《机器学习的数学原理》:01b 讲 KL(含前向/反向 KL 的行为差异),13 讲 ELBO(E 步顶下界、M 步抬下界)。本板块直接拿来用:训练目标是一串 KL,简化后塌成一行均方误差。
- 不需要,这些教学实验不要求 GPU;需安装相应的 PyTorch 或 NumPy,耗时以本机为准。代价是 01 章用二维玩具数据而不是真图片 —— 机制是同一套。
本节回顾
读到这里你已经知道这个板块干什么、不干什么,以及自己该从哪一章进去。下一章就开始动手,不用再准备任何东西。 ⚠️ 如果后面觉得「这些符号完全跟不上」,回来看第六节 —— 大概率是缺了 KL 或训练循环那一块,回站内对应章补比硬啃快得多。
⚡ 走神救援
- 第一次接触先看 01 的二维玩具例子,不把它当作真实图片生成。
- 推导路线看 02–04,参数与控制路线看 06、08、04,按需补评估 09。
- 需要 Python、PyTorch 与基本训练概念;缺少时沿前置链接补。
- 完整目录与跨章链接都在正文,可以分次阅读。
下一节 👉 01-第一天-从噪声里捞出一张图.md