07 · 去噪主干:U-Net 与 DiT
⏱ 34 分钟 | ⭐ 读懂去噪网络的接口、跳跃连接和 token 形状,不把“换主干”误当成“随便换接口”
🎯 一句话
U-Net 和 DiT 是实现去噪网络的两种结构;采样器能否复用,要看预测目标、时间、条件和方差约定是否匹配。
前面几章反复调用一个“预测噪声”的函数。这一章打开它:U-Net 用多尺度特征与跳跃连接;DiT 把空间块当作 token,用 Transformer 处理。
先读接口,再按问题跳转:张量拼不上,去 U-Net 的拼接实验;不理解细节丢失,去池化实验;要估 token 数,去 DiT 的切块实验。三段代码各自可独立执行,无需下载模型。
🔌 一、先约定接口,再比较主干
先用只输出噪声预测(ε-only)的教学接口:带噪状态、噪声时刻、条件进去,同形状的噪声预测出来。 “同形”描述的是这一种输出约定,不是所有扩散网络的完整输出。
| 概念输入 | 是什么 | 本页要检查什么 |
|---|---|---|
x_t |
当前带噪图像或潜变量 | 常用形状为 B×C×H×W;ε 分量与它同形 |
t |
当前噪声水平的标记 | 常按每个样本给一个值;不是采样循环已运行几次,也不必永远是整数 |
c |
文本、类别或其他条件 | 文本可以是一串向量;类别条件可以先是标签 ID;不能一概写成一串文本向量 |
例如跳步采样第一次评估时,噪声时刻可能接近训练终点,而不是 t=1。网络需要知道当前有多吵,才能选用合适的去噪行为;时间向量常在多个残差块中注入,但具体注入位置由架构决定。
为什么原始 DiT 默认不是“4 进 4 出”
原始 DiT 的类别条件实现接收形状为 (B,) 的时间标记和类别标签;其时间嵌入允许小数。默认 learn_sigma=True 时,输出通道是输入的两倍:输入 4 通道,输出 8 通道,分别供噪声与方差参数使用。DiT 官方模型定义、原论文的输出头。
所以换主干前至少核对四项:预测 ε、x₀、v 还是其他目标;时间/噪声日程怎样表示;条件怎样编码;是否同时预测方差。 形状相同只是其中一项,不足以证明与 DDIM、CFG 或其他采样实现兼容。
👀 对照原始 DiT 的 CFG 代码时,再核一处历史设置
原始仓库的 forward_with_cfg 为复现实验,默认只对前三个潜通道做 CFG 外推,其余通道另行保留。原论文附录也记录了这项设置。它不是 CFG 定义要求“只能引导三个通道”,更不应无条件复制到其他模型。官方 forward_with_cfg、论文附录。
🪜 二、U-Net:先压下去,再抬回来
U-Net 把不同分辨率的信息接起来。 编码器用卷积与下采样减小空间分辨率,常同时增加通道;瓶颈的分辨率最低;解码器再逐级上采样。跳跃连接把编码器保存的特征送到解码器同分辨率处。
下面用一个只有一级下采样的微型例子看拼接。它不包含完整去噪 U-Net 的所有残差块和条件模块,图中每个尺寸都对应紧接着的代码。
# 跳跃连接把通道数变成了多少
import torch
import torch.nn as nn
torch.manual_seed(0)
x = torch.randn(1, 4, 32, 32)
h1 = nn.Conv2d(4, 64, 3, padding=1)(x) # 编码器一级:存下来
h2 = nn.Conv2d(64, 128, 3, stride=2, padding=1)(h1) # 下采样:32×32 → 16×16
cat = torch.cat([nn.Upsample(scale_factor=2)(h2), h1], 1) # ⭐ 拼接,不是相加
print("编码器 h1", tuple(h1.shape), "\n瓶颈 h2", tuple(h2.shape),
"\n拼接后 ", tuple(cat.shape), "← 128 + 64 = 192")
先找 torch.cat(..., 1):这里的 1 是通道轴。上采样先把 h₂ 的高、宽变回 32,再拼接;如果空间尺寸不一致,沿通道拼接也会失败。
拼接时,先对齐分辨率
形状顺序是(批大小 B,通道 C,高 H,宽 W)。独立执行得到:
| 位置 | B | C | H | W |
|---|---|---|---|---|
| 编码器 h₁ | 1 | 64 | 32 | 32 |
| 瓶颈 h₂ | 1 | 128 | 16 | 16 |
| 拼接结果 | 1 | 192 | 32 | 32 |
通道相加:128 + 64 = 192。这不是把两个张量逐元素相加。
完整 U-Net 可以重复多级上下采样与同分辨率连接。在这类拼接式 U-Net 中,解码器接收的通道数就是“上采样来的 + 跳连保存的”;写配置时要逐级核对,不能只看最终输出通道。
注意力可以放在若干分辨率层,不只在瓶颈,也不是每层都有。SD-v1 式文本交叉注意力仍是图像特征给 Q、文本给 K/V;它与 U 形的空间尺度变化是两件不同的设计。CompVis U-Net 实现。
✂️ 三、跳跃连接到底在防哪种信息损失
先量一个明确操作,不把“保留细节”当作万能解释。 下面把大圆和交替细条纹叠加,经过 8 倍平均池化再双线性放大,比较输出沿两种信号方向的投影。
代码中“大圆是低频”是相对细条纹的直觉标签;有硬边界的大圆并非纯低频信号。这不影响下面的定义与实测。
# 下采样到底压掉了什么:把细纹和粗块一起送进 8 倍下采样再还原
import torch
import torch.nn.functional as F
torch.manual_seed(0)
H = 64
yy, xx = torch.meshgrid(torch.arange(H), torch.arange(H), indexing="ij")
coarse = ((xx - 32) ** 2 + (yy - 32) ** 2 < 20 ** 2).float() # 低频:一个大圆
fine = ((xx % 2 == 0).float() - 0.5) * 0.5 # 高频:2 像素周期条纹
img = (coarse + fine).view(1, 1, H, H)
small = F.avg_pool2d(img, 8) # ⭐ 8 倍下采样
back = F.interpolate(small, size=(H, H), mode="bilinear", align_corners=False)
def keep(sig): # 输出沿 sig 方向的投影系数;1.0 不保证逐像素完全还原
return float((back * sig).sum() / (sig * sig).sum())
print(f"低频(大圆)保留 {keep(coarse.view(1,1,H,H)):.3f}")
print(f"高频(细条纹)保留 {keep(fine.view(1,1,H,H)):.4f}")
avg_pool2d(img, 8) 决定了本次丢失方式。keep(sig) 的分子是输出与原信号的内积,分母是原信号的平方和:它是投影系数,不是通用信息保留率,也不是能量百分比。
这次下采样留下了什么
| 输入分量 | 投影系数 keep |
|---|---|
| 低频示例:大圆 | 0.830 |
| 高频示例:细条纹 | 0.0000 |
看第二行:本例条纹在每个 8×8 区域里正负抵消。结论限定于这里的输入、池化和还原操作。
仅凭这个池化结果,不能唯一恢复原来的细条纹:把条纹整体反号,也会在平均池化时抵消。解码器可以依据学到的规律生成细节,但“生成合理细节”不等于“找回被丢掉的原始值”。
U-Net 跳连提供了绕过低分辨率瓶颈的路径,有助于传递细节;小噪声阶段常需要细致修正。这不是所有高频都会消失的证明,也不是所有去噪网络都必须有 U-Net 式跳连的证明。 下一节的 DiT 就采用另一种结构。
🧩 四、DiT:把潜空间切成 token
DiT 可以用 Transformer 处理一整组空间 token,再输出当前状态的去噪预测。 先只看切块与拼回这两个形状转换。
下面是形状演示,不是完整 DiT:它用普通 TransformerEncoderLayer,没有位置编码、时间/类别条件、adaLN-Zero 或方差头。它能验证维度计算,不能直接当作训练完整扩散模型的代码。
# DiT 的第一步和最后一步:把潜空间切成 token,过完 Transformer 再拼回去
import torch
import torch.nn as nn
torch.manual_seed(0)
B, C, H, W, P, D = 1, 4, 32, 32, 2, 384 # 潜空间 4×32×32,patch 边长 2,token 384 维
x = torch.randn(B, C, H, W)
tok = nn.Conv2d(C, D, P, stride=P)(x).flatten(2).transpose(1, 2) # ⭐ 切块+投影一步完成
print("潜空间", tuple(x.shape), "→ token", tuple(tok.shape),
f" N = ({H}//{P})×({W}//{P}) = {(H//P)*(W//P)}")
tok = nn.TransformerEncoderLayer(D, 6, 4 * D, batch_first=True, norm_first=True)(tok)
print("过完一层", tuple(tok.shape), " 形状不变,所以能一直堆下去")
out = nn.Linear(D, P * P * C)(tok).view(B, H // P, W // P, P, P, C)
out = out.permute(0, 5, 1, 3, 2, 4).reshape(B, C, H, W) # 拼回整图
print("拼回去 ", tuple(out.shape), " 和输入同形 =", out.shape == x.shape)
Conv2d(C,D,P,stride=P) 把每个 P×P 块投影到 D 维,flatten 与 transpose 整理成(B,token 数,D)。最后的线性层生成每块的输出值,再通过 permute 把块内、块间的空间轴接回去。
从图像张量到 token,再拼回
| 位置 | 形状 | 每个维度的含义 |
|---|---|---|
| 潜空间输入 | (1, 4, 32, 32) | B、C、H、W |
| 切块并投影 | (1, 256, 384) | B、token 数、嵌入维数 |
| 过一层 Transformer | (1, 256, 384) | B、token 数、嵌入维数 |
| 拼回图像 | (1, 4, 32, 32) | B、C、H、W |
token 数:N = (32//2) × (32//2) = 256。形状检查 True 只说明维度一致;随机投影、Transformer 与随机输出头没有把输入数值还原回来。
保持输入分辨率不变,patch 边长从 2 减到 1,token 数从 256 变成 1024(×4)。标准稠密注意力的 N×N 关系规模变成 ×16;不是整个网络的耗时或显存必然 ×16。DiT-XL/2 的 /2 指 patch 边长。
原始 DiT 的时间和类别怎样进入
原论文比较了多种条件注入方式;在其 adaLN-Zero 方案中,时间与类别嵌入相加,再生成各块的归一化缩放/平移及残差门控。它不靠上一章介绍的文本交叉注意力来注入这两个条件。DiT 原论文。
门控零初始化,使各残差块在初始时为恒等映射;但整个 DiT 不是恒等网络,官方实现的最终输出层也置零,初始预测输出为零。官方初始化。
下一章 ControlNet 也会用零初始化,让新增分支起初不扰动既有路径。相似点是“初始贡献为零”,不代表 adaLN 门控与零卷积是同一个模块。
🏁 五、为什么考虑 DiT,以及它的代价
不是因为“Transformer 比卷积聪明”。要比较的是具体模型、数据和预算。
| 理由 | 能获得什么 | 边界 |
|---|---|---|
| 规模化规律便于研究 | 原始 DiT 实验比较模型规模与 token 数对结果的影响 | 不能从一组曲线推成任意数据、任意预算都优于 U-Net |
| 可以复用部分工程栈 | 注意力、混合精度、序列并行、融合 kernel 等优化经验 | 条件调制、布局与并行方式仍需适配,不是工程“白捡” |
| 局部卷积先验较少 | 提供不同的结构选择,适合研究规模化训练 | 变分辨率仍须核对 patch、位置编码和训练分布 |
先算 token 数,再判断是否负担得起。 512×512 像素按 2×2 patch 切分是 65536 个 token;按 16×16 切分是 1024 个。因此不能笼统说像素空间一定有六位数 token。
原始 DiT 采用潜空间来降低空间分辨率和计算量;这是一项设计选择,不是“没有潜空间就不能做扩散 Transformer”。效果与开销必须结合实际结构、训练和硬件比较。DiT 原论文。
🚧 六、Transformer 结构不等于自回归生成
DiT 用 Transformer 实现去噪,但不是逐 token 地生成完一张图。 网络结构与生成过程是两个问题。
| 自回归图像生成 | 原始 DiT 这一类扩散模型 | |
|---|---|---|
| 训练在学什么 | 给定已有 token,预测后续 token | 给定带噪状态和条件,学习噪声及相应方差参数 |
| 生成时怎样推进 | 逐 token 解码 | 反复更新整组空间位置的带噪状态 |
| 替换网络时要查什么 | token 化、概率分解与解码约定 | 预测参数化、时间日程、条件与采样器的接口约定 |
ε 预测也不是“网络知道每个样本当时加的那一份真实噪声”:平方误差训练下,理想预测器是给定可见输入与条件的条件均值。网络没看到干净样本时,不能靠一句“认出噪声”消除这种不确定性。
因此,“换 U-Net 为 DiT”描述的是结构选择。若同时改变训练目标、方差头或条件接口,调用方与采样端也要改;只有双方约定匹配时,原有采样公式才可能直接复用。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 机器学习与深度学习基础 12 · CNN 处理图像 | 补卷积、下采样与感受野。下采样增大后续特征在原图上的间距,让后续卷积更快扩展感受野;不是完整感受野每层都乘 2,也不是本页条纹抵消的同义解释 |
| 大模型全景导论 主线 2 · 模型怎样看懂一句话 | 补注意力、残差、FFN 与 Q/K/V。DiT 复用这些基础组件,但条件调制和输出头不同;序列里装的是空间 patch |
| 大模型全景导论 10b · 图像生成 | 回到图像生成组件总览,把“主干结构”和“生成范式”放回整条链路,不把 Transformer 一词当作自回归的同义词 |
✅ 检查点
- ε-only 教学接口的三个概念输入是什么?输出与谁同形?原始 DiT 默认 4 通道输入是否也是总共 4 通道输出?
- 为什么常在多个网络块中注入时间条件?它是采样循环已执行几次吗?
- 本页 U-Net 跳连用拼接还是相加?对解码器的通道数有什么影响?
- 本页 8 倍平均池化后,条纹和大圆的投影系数是多少?这个数能否证明所有高频都丢失?
- DiT 中 patch 边长从 2 减到 1,token 数与稠密注意力关系规模各变几倍?形状演示是否完整实现了 DiT?
- DiT 与自回归图像生成有什么不同?潜空间能减少什么开销?
👀 答案
x_t(带噪状态)、t(噪声水平标记)、c(条件);ε-only 输出与x_t同形。但原始 DiT 默认learn_sigma=True,输入 4 通道、输出 8 通道,分别供噪声与方差参数使用。还要核对参数化与条件类型。- 不同噪声水平需要不同去噪行为;多个块注入时间向量是方便各层使用条件的常见设计,不是唯一方式。t 标识噪声状态,不是循环计数,也不必总是整数。
- 拼接:
torch.cat(...,1)沿通道轴操作。先对齐空间尺寸,再加通道数;代码是 128+64=192,不是张量逐元素相加。 - 条纹为 0.0000,大圆为 0.830。它们是输出在原信号方向上的投影系数。这组条纹被平均池化抵消,不能推成所有高频都消失,也不能说所有扩散网络必须有 U-Net 式跳连。
- token 数 256→1024(×4);标准稠密注意力 N×N 部分为 ×16,不等于整网成本 ×16。
/2是 patch 边长;本页代码仅演示形状,缺少位置、时间/类别条件、adaLN-Zero 与方差头。 - DiT 通过扩散去噪循环更新一组空间位置,自回归模型逐 token 生成。潜空间降低 token 数和相应注意力开销;像素空间可行性还取决于 patch、结构和预算。
本节回顾
现在你可以读配置中的三类信息:U-Net 的多级通道与 attention_resolutions 等注意力位置设置;DiT 的 patch_size、hidden_size;以及容易漏掉的条件和输出头约定。
张量拼接报错时回看第二节;讨论细节损失时回看第三节的具体池化操作;改变分辨率或估显存时回看第四、五节。生成结果细节模糊还要排查数据、训练与采样,不能只凭症状判定“缺跳连”。
⚡ 走神救援
先记住这几件事
- 先核对参数化、时间、条件与方差头;同形不等于接口兼容。
- U-Net 跳连为特征提供旁路,本例拼接通道是 128+64=192。
- 0.0000 是本例条纹被平均池化抵消,不是所有高频的统一结论。
- DiT 处理空间 token;Transformer 结构不等于自回归生成。
上一节:06 · 条件控制与 CFG | 下一节:08 · ControlNet 与风格 LoRA