🏠 总目录📚 本教程 07 · 去噪主干:U-Net 与 DiT ← →

扩散模型 / 07

换成U-Net或DiT,采样端到底需要什么输出?

先约定输入/输出参数化,再读U-Net分辨率/通道拼接与DiT token化、条件注入和代价。

📑 本页目录(点开跳转)

07 · 去噪主干:U-Net 与 DiT

⏱ 34 分钟 | ⭐ 读懂去噪网络的接口、跳跃连接和 token 形状,不把“换主干”误当成“随便换接口”


🎯 一句话

U-Net 和 DiT 是实现去噪网络的两种结构;采样器能否复用,要看预测目标、时间、条件和方差约定是否匹配。

前面几章反复调用一个“预测噪声”的函数。这一章打开它:U-Net 用多尺度特征与跳跃连接;DiT 把空间块当作 token,用 Transformer 处理。

先读接口,再按问题跳转:张量拼不上,去 U-Net 的拼接实验;不理解细节丢失,去池化实验;要估 token 数,去 DiT 的切块实验。三段代码各自可独立执行,无需下载模型。


🔌 一、先约定接口,再比较主干

先用只输出噪声预测(ε-only)的教学接口:带噪状态、噪声时刻、条件进去,同形状的噪声预测出来。 “同形”描述的是这一种输出约定,不是所有扩散网络的完整输出。

先看 ε-only 教学接口,不代表所有模型的完整输出 带噪状态 x_t 示例:(1,4,32,32) t:标识当前噪声水平 c:语义或其他条件 类型取决于条件适配器 去噪网络 U-Net / DiT 等结构 噪声预测 ε̂ 本接口:(1,4,32,32) 框外负责加噪与采样;换框内结构时,必须保持双方约定一致 完整输出可能另含方差参数:原始 DiT 默认输入 4 通道、输出 8 通道
先看图的限定词 ε-only:同形噪声分量是采样端需要的一个对象。若实际模型还输出方差参数,或预测的不是 ε,就不能按这张教学图直接接上采样器。
概念输入 是什么 本页要检查什么
x_t 当前带噪图像或潜变量 常用形状为 B×C×H×W;ε 分量与它同形
t 当前噪声水平的标记 常按每个样本给一个值;不是采样循环已运行几次,也不必永远是整数
c 文本、类别或其他条件 文本可以是一串向量;类别条件可以先是标签 ID;不能一概写成一串文本向量

例如跳步采样第一次评估时,噪声时刻可能接近训练终点,而不是 t=1。网络需要知道当前有多吵,才能选用合适的去噪行为;时间向量常在多个残差块中注入,但具体注入位置由架构决定。

为什么原始 DiT 默认不是“4 进 4 出”

原始 DiT 的类别条件实现接收形状为 (B,) 的时间标记和类别标签;其时间嵌入允许小数。默认 learn_sigma=True 时,输出通道是输入的两倍:输入 4 通道,输出 8 通道,分别供噪声与方差参数使用。DiT 官方模型定义、原论文的输出头。

所以换主干前至少核对四项:预测 ε、x₀、v 还是其他目标;时间/噪声日程怎样表示;条件怎样编码;是否同时预测方差。 形状相同只是其中一项,不足以证明与 DDIM、CFG 或其他采样实现兼容。

👀 对照原始 DiT 的 CFG 代码时,再核一处历史设置

原始仓库的 forward_with_cfg 为复现实验,默认只对前三个潜通道做 CFG 外推,其余通道另行保留。原论文附录也记录了这项设置。它不是 CFG 定义要求“只能引导三个通道”,更不应无条件复制到其他模型。官方 forward_with_cfg、论文附录。


🪜 二、U-Net:先压下去,再抬回来

U-Net 把不同分辨率的信息接起来。 编码器用卷积与下采样减小空间分辨率,常同时增加通道;瓶颈的分辨率最低;解码器再逐级上采样。跳跃连接把编码器保存的特征送到解码器同分辨率处。

下面用一个只有一级下采样的微型例子看拼接。它不包含完整去噪 U-Net 的所有残差块和条件模块,图中每个尺寸都对应紧接着的代码。

一级 U 形示例:128 个上采样通道 + 64 个跳连通道 输入 x (1,4,32,32) 编码器 h₁:存下来 (1,64,32,32) 本例瓶颈 h₂ (1,128,16,16) h₂ 上采样 ×2 (1,128,32,32) 沿通道 cat (1,192,32,32) 卷积 stride=2 128 通道 跳连:64 通道 先对齐 H、W,再拼 C;图到拼接为止,不冒充完整解码器
看绿色虚线:h₁ 绕过了低分辨率分支。128+64=192 来自两份特征沿通道拼接,不是逐元素相加,也不是把两种示例的通道数拼在一起。
# 跳跃连接把通道数变成了多少
import torch
import torch.nn as nn

torch.manual_seed(0)
x = torch.randn(1, 4, 32, 32)
h1 = nn.Conv2d(4, 64, 3, padding=1)(x)                 # 编码器一级:存下来
h2 = nn.Conv2d(64, 128, 3, stride=2, padding=1)(h1)    # 下采样:32×32 → 16×16
cat = torch.cat([nn.Upsample(scale_factor=2)(h2), h1], 1)   # ⭐ 拼接,不是相加
print("编码器 h1", tuple(h1.shape), "\n瓶颈   h2", tuple(h2.shape),
      "\n拼接后   ", tuple(cat.shape), "← 128 + 64 = 192")

先找 torch.cat(..., 1):这里的 1 是通道轴。上采样先把 h₂ 的高、宽变回 32,再拼接;如果空间尺寸不一致,沿通道拼接也会失败。

拼接时,先对齐分辨率

形状顺序是(批大小 B,通道 C,高 H,宽 W)。独立执行得到:

位置 B C H W
编码器 h₁ 1 64 32 32
瓶颈 h₂ 1 128 16 16
拼接结果 1 192 32 32

通道相加:128 + 64 = 192。这不是把两个张量逐元素相加。

完整 U-Net 可以重复多级上下采样与同分辨率连接。在这类拼接式 U-Net 中,解码器接收的通道数就是“上采样来的 + 跳连保存的”;写配置时要逐级核对,不能只看最终输出通道。

注意力可以放在若干分辨率层,不只在瓶颈,也不是每层都有。SD-v1 式文本交叉注意力仍是图像特征给 Q、文本给 K/V;它与 U 形的空间尺度变化是两件不同的设计。CompVis U-Net 实现。


✂️ 三、跳跃连接到底在防哪种信息损失

先量一个明确操作,不把“保留细节”当作万能解释。 下面把大圆和交替细条纹叠加,经过 8 倍平均池化再双线性放大,比较输出沿两种信号方向的投影。

代码中“大圆是低频”是相对细条纹的直觉标签;有硬边界的大圆并非纯低频信号。这不影响下面的定义与实测。

# 下采样到底压掉了什么:把细纹和粗块一起送进 8 倍下采样再还原
import torch
import torch.nn.functional as F

torch.manual_seed(0)
H = 64
yy, xx = torch.meshgrid(torch.arange(H), torch.arange(H), indexing="ij")
coarse = ((xx - 32) ** 2 + (yy - 32) ** 2 < 20 ** 2).float()   # 低频:一个大圆
fine = ((xx % 2 == 0).float() - 0.5) * 0.5                     # 高频:2 像素周期条纹
img = (coarse + fine).view(1, 1, H, H)

small = F.avg_pool2d(img, 8)                                   # ⭐ 8 倍下采样
back = F.interpolate(small, size=(H, H), mode="bilinear", align_corners=False)

def keep(sig):        # 输出沿 sig 方向的投影系数;1.0 不保证逐像素完全还原
    return float((back * sig).sum() / (sig * sig).sum())

print(f"低频(大圆)保留   {keep(coarse.view(1,1,H,H)):.3f}")
print(f"高频(细条纹)保留 {keep(fine.view(1,1,H,H)):.4f}")

avg_pool2d(img, 8) 决定了本次丢失方式。keep(sig) 的分子是输出与原信号的内积,分母是原信号的平方和:它是投影系数,不是通用信息保留率,也不是能量百分比。

这次下采样留下了什么

输入分量 投影系数 keep
低频示例:大圆 0.830
高频示例:细条纹 0.0000

看第二行:本例条纹在每个 8×8 区域里正负抵消。结论限定于这里的输入、池化和还原操作。

仅凭这个池化结果,不能唯一恢复原来的细条纹:把条纹整体反号,也会在平均池化时抵消。解码器可以依据学到的规律生成细节,但“生成合理细节”不等于“找回被丢掉的原始值”。

U-Net 跳连提供了绕过低分辨率瓶颈的路径,有助于传递细节;小噪声阶段常需要细致修正。这不是所有高频都会消失的证明,也不是所有去噪网络都必须有 U-Net 式跳连的证明。 下一节的 DiT 就采用另一种结构。


🧩 四、DiT:把潜空间切成 token

DiT 可以用 Transformer 处理一整组空间 token,再输出当前状态的去噪预测。 先只看切块与拼回这两个形状转换。

下面是形状演示,不是完整 DiT:它用普通 TransformerEncoderLayer,没有位置编码、时间/类别条件、adaLN-Zero 或方差头。它能验证维度计算,不能直接当作训练完整扩散模型的代码。

# DiT 的第一步和最后一步:把潜空间切成 token,过完 Transformer 再拼回去
import torch
import torch.nn as nn

torch.manual_seed(0)
B, C, H, W, P, D = 1, 4, 32, 32, 2, 384       # 潜空间 4×32×32,patch 边长 2,token 384 维

x = torch.randn(B, C, H, W)
tok = nn.Conv2d(C, D, P, stride=P)(x).flatten(2).transpose(1, 2)   # ⭐ 切块+投影一步完成
print("潜空间", tuple(x.shape), "→ token", tuple(tok.shape),
      f"  N = ({H}//{P})×({W}//{P}) = {(H//P)*(W//P)}")

tok = nn.TransformerEncoderLayer(D, 6, 4 * D, batch_first=True, norm_first=True)(tok)
print("过完一层", tuple(tok.shape), " 形状不变,所以能一直堆下去")

out = nn.Linear(D, P * P * C)(tok).view(B, H // P, W // P, P, P, C)
out = out.permute(0, 5, 1, 3, 2, 4).reshape(B, C, H, W)            # 拼回整图
print("拼回去  ", tuple(out.shape), " 和输入同形 =", out.shape == x.shape)

Conv2d(C,D,P,stride=P) 把每个 P×P 块投影到 D 维,flatten 与 transpose 整理成(B,token 数,D)。最后的线性层生成每块的输出值,再通过 permute 把块内、块间的空间轴接回去。

从图像张量到 token,再拼回

位置 形状 每个维度的含义
潜空间输入 (1, 4, 32, 32) B、C、H、W
切块并投影 (1, 256, 384) B、token 数、嵌入维数
过一层 Transformer (1, 256, 384) B、token 数、嵌入维数
拼回图像 (1, 4, 32, 32) B、C、H、W

token 数:N = (32//2) × (32//2) = 256。形状检查 True 只说明维度一致;随机投影、Transformer 与随机输出头没有把输入数值还原回来。

保持输入分辨率不变,patch 边长从 2 减到 1,token 数从 256 变成 1024(×4)。标准稠密注意力的 N×N 关系规模变成 ×16;不是整个网络的耗时或显存必然 ×16。DiT-XL/2 的 /2 指 patch 边长。

原始 DiT 的时间和类别怎样进入

原论文比较了多种条件注入方式;在其 adaLN-Zero 方案中,时间与类别嵌入相加,再生成各块的归一化缩放/平移及残差门控。它不靠上一章介绍的文本交叉注意力来注入这两个条件。DiT 原论文。

门控零初始化,使各残差块在初始时为恒等映射;但整个 DiT 不是恒等网络,官方实现的最终输出层也置零,初始预测输出为零。官方初始化。

下一章 ControlNet 也会用零初始化,让新增分支起初不扰动既有路径。相似点是“初始贡献为零”,不代表 adaLN 门控与零卷积是同一个模块。


🏁 五、为什么考虑 DiT,以及它的代价

不是因为“Transformer 比卷积聪明”。要比较的是具体模型、数据和预算。

理由 能获得什么 边界
规模化规律便于研究 原始 DiT 实验比较模型规模与 token 数对结果的影响 不能从一组曲线推成任意数据、任意预算都优于 U-Net
可以复用部分工程栈 注意力、混合精度、序列并行、融合 kernel 等优化经验 条件调制、布局与并行方式仍需适配,不是工程“白捡”
局部卷积先验较少 提供不同的结构选择,适合研究规模化训练 变分辨率仍须核对 patch、位置编码和训练分布

先算 token 数,再判断是否负担得起。 512×512 像素按 2×2 patch 切分是 65536 个 token;按 16×16 切分是 1024 个。因此不能笼统说像素空间一定有六位数 token。

原始 DiT 采用潜空间来降低空间分辨率和计算量;这是一项设计选择,不是“没有潜空间就不能做扩散 Transformer”。效果与开销必须结合实际结构、训练和硬件比较。DiT 原论文。


🚧 六、Transformer 结构不等于自回归生成

DiT 用 Transformer 实现去噪,但不是逐 token 地生成完一张图。 网络结构与生成过程是两个问题。

自回归图像生成 原始 DiT 这一类扩散模型
训练在学什么 给定已有 token,预测后续 token 给定带噪状态和条件,学习噪声及相应方差参数
生成时怎样推进 逐 token 解码 反复更新整组空间位置的带噪状态
替换网络时要查什么 token 化、概率分解与解码约定 预测参数化、时间日程、条件与采样器的接口约定

ε 预测也不是“网络知道每个样本当时加的那一份真实噪声”:平方误差训练下,理想预测器是给定可见输入与条件的条件均值。网络没看到干净样本时,不能靠一句“认出噪声”消除这种不确定性。

因此,“换 U-Net 为 DiT”描述的是结构选择。若同时改变训练目标、方差头或条件接口,调用方与采样端也要改;只有双方约定匹配时,原有采样公式才可能直接复用。


🔗 这一章连到哪里

去哪 为什么
机器学习与深度学习基础 12 · CNN 处理图像 补卷积、下采样与感受野。下采样增大后续特征在原图上的间距,让后续卷积更快扩展感受野;不是完整感受野每层都乘 2,也不是本页条纹抵消的同义解释
大模型全景导论 主线 2 · 模型怎样看懂一句话 补注意力、残差、FFN 与 Q/K/V。DiT 复用这些基础组件,但条件调制和输出头不同;序列里装的是空间 patch
大模型全景导论 10b · 图像生成 回到图像生成组件总览,把“主干结构”和“生成范式”放回整条链路,不把 Transformer 一词当作自回归的同义词

✅ 检查点

  1. ε-only 教学接口的三个概念输入是什么?输出与谁同形?原始 DiT 默认 4 通道输入是否也是总共 4 通道输出?
  2. 为什么常在多个网络块中注入时间条件?它是采样循环已执行几次吗?
  3. 本页 U-Net 跳连用拼接还是相加?对解码器的通道数有什么影响?
  4. 本页 8 倍平均池化后,条纹和大圆的投影系数是多少?这个数能否证明所有高频都丢失?
  5. DiT 中 patch 边长从 2 减到 1,token 数与稠密注意力关系规模各变几倍?形状演示是否完整实现了 DiT?
  6. DiT 与自回归图像生成有什么不同?潜空间能减少什么开销?
👀 答案
  1. x_t(带噪状态)、t(噪声水平标记)、c(条件);ε-only 输出与 x_t 同形。但原始 DiT 默认 learn_sigma=True,输入 4 通道、输出 8 通道,分别供噪声与方差参数使用。还要核对参数化与条件类型。
  2. 不同噪声水平需要不同去噪行为;多个块注入时间向量是方便各层使用条件的常见设计,不是唯一方式。t 标识噪声状态,不是循环计数,也不必总是整数。
  3. 拼接:torch.cat(...,1) 沿通道轴操作。先对齐空间尺寸,再加通道数;代码是 128+64=192,不是张量逐元素相加。
  4. 条纹为 0.0000,大圆为 0.830。它们是输出在原信号方向上的投影系数。这组条纹被平均池化抵消,不能推成所有高频都消失,也不能说所有扩散网络必须有 U-Net 式跳连。
  5. token 数 256→1024(×4);标准稠密注意力 N×N 部分为 ×16,不等于整网成本 ×16。/2 是 patch 边长;本页代码仅演示形状,缺少位置、时间/类别条件、adaLN-Zero 与方差头。
  6. DiT 通过扩散去噪循环更新一组空间位置,自回归模型逐 token 生成。潜空间降低 token 数和相应注意力开销;像素空间可行性还取决于 patch、结构和预算。

本节回顾

现在你可以读配置中的三类信息:U-Net 的多级通道与 attention_resolutions 等注意力位置设置;DiT 的 patch_size、hidden_size;以及容易漏掉的条件和输出头约定。

张量拼接报错时回看第二节;讨论细节损失时回看第三节的具体池化操作;改变分辨率或估显存时回看第四、五节。生成结果细节模糊还要排查数据、训练与采样,不能只凭症状判定“缺跳连”。

⚡ 走神救援

先记住这几件事

  • 先核对参数化、时间、条件与方差头;同形不等于接口兼容。
  • U-Net 跳连为特征提供旁路,本例拼接通道是 128+64=192。
  • 0.0000 是本例条纹被平均池化抵消,不是所有高频的统一结论。
  • DiT 处理空间 token;Transformer 结构不等于自回归生成。

上一节:06 · 条件控制与 CFG | 下一节:08 · ControlNet 与风格 LoRA

打卡记录保存在你的浏览器里,首页能看到总进度