🏠 总目录📚 本教程 00 · 怎么用这份教程 →

扩散模型 / 00 · 导读

二维点云怎样帮助理解扩散模型?

从二维去噪实验出发,理解加噪公式、训练目标和图像生成的控制方法。

理解二维去噪与真实图像生成之间的联系和边界。

📑 本页目录(点开跳转)

00 · 怎么用这份教程

⏱ 20 分钟 | ⭐ 先观察一个去噪例子,再按问题看原理或控制方法


🎯 一句话

这套教程只回答一个问题:从一团纯随机的噪声里,怎么可能长出一张具体的图。 它不教提示词、不横评产品、不教任何 WebUI —— 它讲这套东西为什么能工作,以及它的代价。


🕳️ 一、先知道自己要看哪一层

想先知道图像生成领域有什么,可以看 全景导论 10b · 图像生成。

这里展开具体机制:加噪与去噪、DDPM 与 DDIM、Latent Diffusion、U-Net 与 DiT、ControlNet、风格 LoRA、图生图与局部重绘,以及 FID / CLIP Score 的评估边界。

第一次接触,先看第 01 章的二维玩具数据。 先观察分布如何变化,再决定要不要进入数学推导;这个小例子不等于已经生成了真实图片。


🚧 二、和站内别的板块的分界

那边 这里 分界
全景导论 10b:14 分钟,U-Net/VAE/CFG/ControlNet 一人一行 那一行行的展开:各自解决什么问题、代价是什么、什么时候失效 领域概览 vs 机制展开
全景导论主线 2:注意力+残差+FFN,一个词一个词往下写 从纯噪声开始,所有像素同时变清晰 两种范式。⚠️ 不是替代:07 章的 DiT 用回的正是它
数学原理 01b 讲 KL、13 讲 ELBO 直接拿来用:训练目标是一串 KL,简化后塌成一行均方误差 前置数学 vs 用法,这里不重讲 KL 是什么
ML 基础 12 · CNN:卷积、感受野、池化、残差 U-Net 怎么在这些零件上加跳跃连接和上采样 零件 vs 装配。⚠️ 上采样站内没有,归 07 章

⛔ 三、它不讲什么

❌ 提示词怎么写、各种咒语 ❌ 横评哪个模型/服务更好 ❌ 某个 WebUI 的按钮在哪 ❌ 视频与 3D 生成的完整方案(09 章只提一句共同骨架)。

⭐ 判断标准只有一条:换个产品就得重写的不写,换个产品照样成立的才写。 所以 06 章不讲怎么拖 CFG 那个滑块,只讲它在数学上到底在调什么。


🗺️ 四、章节地图(12 个阅读单元,含本章与附录)

章 它回答的问题
01 第一天:从噪声里捞出一张图 CPU 上训练二维玩具模型,比较采样分布;耗时取决于环境
02 加噪与去噪 前向为何能直接构造任意时刻的带噪样本
02b 调度表与反向过程 调度怎样分配噪声水平,反向预测要估计什么
03 训练目标为什么是「预测噪声」 变分下界怎么塌成一行均方误差
04 DDIM 与采样加速 50 步和 1000 步差在哪,确定性采样换来了什么
05 Latent Diffusion 省的到底是哪部分开销,VAE 又带来什么损失
06 条件控制:文本与 CFG 提示词塞在哪一层,CFG 的两次前向各算什么
07 去噪主干:U-Net 与 DiT 为什么去噪偏爱 U 形,换成 Transformer 得到了什么
08 ControlNet 与风格 LoRA 「照这个骨架画」和「照这个画风画」是两件事
09 怎么评估:FID / CLIP Score 这两个数字各自看不见什么
附录A 速查 公式、符号、调参项、常见报错

⭐ 01 → 02 → 02b → 03 是一条主线(03 会用到前两页的记号);04 之后可按问题跳读,缺少概念时沿各章前置链接补齐。

你今天想解决哪件事?从这里开始想先看见它动01 第一天二维玩具实验 · 耗时另计想能自己推出来02 → 02b → 03加噪去噪 + 变分下界想搞懂手上的参数04 → 06步数 / 种子 / CFG scale三条路线分别侧重实验、原理推导和参数调试
按你现在的问题选入口,不必一次读完。推导路线包含 02b;代码运行与训练耗时另计,取决于本机环境。

🚦 五、三条读法

① 想先看见它动(第一次接触推荐这条) 👉 01 → 02 → 05。01 让你跑出一个真的扩散模型,02 解释你刚跑的那些行,05 说清从玩具到真实图片还差哪一步。

② 想搞懂数学、能自己推 👉 02 → 02b → 03 → 04。一条推导链:加噪的闭式解 → 下界怎么塌成均方误差 → 放松「必须一步步走」会怎样。⚠️ 卡住就回 数学原理 01b 和 13。

③ 只想搞明白手上那些参数和插件 👉 06 → 08 → 04,需要时补 09。前面五章都不是硬前置,06 会把记号重新交代一遍。


🧰 六、你需要准备什么


🔗 这一章连到哪里

相关的地方 为什么
全景导论 10b · 图像生成 想先看领域概览、区分模型和控制方法,可以从这一页开始
全景导论主线 2 · 模型怎样看懂一句话 另一种生成范式。⭐ 那张「注意力 → 残差 → FFN」的信息路径图,正是 07 章 DiT 的骨架
数学原理 01b · KL 散度 那一章讲了前向 KL 逼你盖住所有峰、反向 KL 允许只蹲一个峰,这个区别 03 章会直接用
数学原理 13 · EM 与高斯混合 ELBO 的正式出处:E 步把下界顶到贴着似然、M 步抬高下界。扩散的变分下界是同一套换了场景
ML 基础 12 · CNN 处理图像 U-Net 的零件全在那儿:卷积、感受野、池化、⭐ 残差连接
全景导论 15 · 数学地基 它的清单里「马尔可夫链 / 变分推断」备注写着「只有挖图像生成才需要」—— 你正在挖的就是它

✅ 检查点

  1. 第一次接触扩散,应先观察哪种例子?它和真实图片有什么区别?
  2. 全景导论 10b 和本板块是不是重复?分界在哪?
  3. 本板块不讲哪四类东西?判断标准是哪一句?
  4. 扩散和自回归是两种范式,它们在本板块里有交汇的地方吗?在第几章?
  5. KL 散度和 ELBO 归哪个板块?本板块拿它们做什么?
  6. 跑本板块的代码需要 GPU 吗?代价是什么?
👀 答案
  1. 先看 01 的二维玩具数据,观察从噪声到目标分布的变化。它帮助理解机制,不需要下载图像模型权重,但不是真实图片生成系统。

  2. 不重复。索引 vs 深挖:10b 只有 14 分钟,把 U-Net/VAE/CFG/ControlNet 一人一行列完;本板块展开每一行的「解决什么问题、代价、什么时候失效」。

  3. ① 提示词 ② 横评模型/服务 ③ WebUI 操作 ④ 视频/3D 的完整方案。标准:换个产品就得重写的不写,换个产品照样成立的才写。
  4. 有 —— 07 章的 DiT:去噪主干换成 Transformer,用的正是自回归那套里的同一种结构。两者不是替代关系。
  5. 归 《机器学习的数学原理》:01b 讲 KL(含前向/反向 KL 的行为差异),13 讲 ELBO(E 步顶下界、M 步抬下界)。本板块直接拿来用:训练目标是一串 KL,简化后塌成一行均方误差。
  6. 不需要,这些教学实验不要求 GPU;需安装相应的 PyTorch 或 NumPy,耗时以本机为准。代价是 01 章用二维玩具数据而不是真图片 —— 机制是同一套。

本节回顾

读到这里你已经知道这个板块干什么、不干什么,以及自己该从哪一章进去。下一章就开始动手,不用再准备任何东西。 ⚠️ 如果后面觉得「这些符号完全跟不上」,回来看第六节 —— 大概率是缺了 KL 或训练循环那一块,回站内对应章补比硬啃快得多。

⚡ 走神救援

下一节 👉 01-第一天-从噪声里捞出一张图.md

打卡记录保存在你的浏览器里,首页能看到总进度