扩散模型 / 08
文本、空间控制与风格适配,各补了哪条信息路径?
从条件分工到ControlNet支路、零卷积,再对照风格LoRA和资源成本。
📑 本页目录(点开跳转)
08 · ControlNet 与风格 LoRA
⏱ 22 分钟 | ⭐ 提示词管「画什么」,这一章补上「画成什么形状」和「用什么风格画」
🎯 一句话
提示词能描述内容、空间关系和风格,但细密控制未必稳定。 ControlNet 用边缘、深度或姿态等额外空间条件加强结构控制;LoRA 用低秩权重更新适配风格、角色等需求。三者可组合,也有能力重叠,不能仅靠名字判断哪一种必需。
🖐️ 一、文本、空间条件与适配各补什么
上一章用 (x_t,t,c) 解释去噪器的概念输入,实际还要核对输出目标与方差头。本章的 ControlNet 增加条件支路,LoRA 修改部分层的权重;这是两种常见做法,不是全部控制方法的穷尽分类。
| 你想控制的 | 文字够不够 |
|---|---|
| 画什么(一只猫、雪地、黄昏) | 常可用文本表达,但是否遵从仍需检查 |
| 画成什么形状(构图、姿势、线稿) | 可以描述,细密布局或姿态却可能不稳定;可用空间条件和输出检查增强控制 |
| 用什么风格画(某种笔触、你的角色) | 已有风格可能通过文本触发;新概念或稳定身份可考虑适配与参考图方法,不能先断定底座未见过 |
🧬 二、ControlNet:复制编码器与中间块,再接回主干
- 冻结原来的去噪主干(上一章那个 U-Net),一个权重都不动。
- 在原始 SD U-Net 方案中,复制编码器与中间块作可训练支路,保留其预训练权重起点;新增条件编码与连接模块另行初始化。
- 条件图(Canny 边缘图 / 深度图 / 姿态骨架)经一个小编码器,加到副本输入上。
- 支路输出经零初始化的 1×1 卷积,送入主干的跳连路径与中间块,再由解码器使用。它不是另训一整个解码器。
第 4 步那个「零初始化」是整个设计的支点:
# 零初始化卷积:训练前输出恒为 0,梯度却不为 0 —— 所以它接得进去,也学得起来
import torch
import torch.nn as nn
torch.manual_seed(0)
frozen = torch.randn(1, 320, 8, 8) # 冻结主干这一级的输出
branch = torch.randn(1, 320, 8, 8) # 可训练副本这一级的输出
zc = nn.Conv2d(320, 320, 1) # ⭐ ControlNet 接回主干用的 1×1 卷积
nn.init.zeros_(zc.weight); nn.init.zeros_(zc.bias)
out = frozen + zc(branch) # ControlNet 就是这么接回去的
print("接回后的最大差", out.sub(frozen).abs().max().item())
out.sum().backward()
print("权重梯度范数 ", round(zc.weight.grad.norm().item(), 1))
print("默认初始化的话", round(nn.Conv2d(320, 320, 1)(branch).abs().max().item(), 3))
零初始化:先不扰动,再学习
这个小实验只检查一层 1×1 卷积接回主干的效果,不是完整 ControlNet 的质量测试。
| 检查项 | 结果 |
|---|---|
| 零初始化支路接回后的最大差 | 0.0 |
| 这层卷积的权重梯度范数 | 2501.0 |
| 默认随机初始化带来的最大改动 | 2.217 |
0.0 说明这段示例中的加法支路初始输出为零,因此不改变 frozen。零卷积的权重梯度范数 2501.0 不为零,说明该层可开始更新;默认随机初始化在本例带来最大 2.217 的扰动。
要区分零卷积和它上游的支路:第一次反传时,通过零权重传给上游的梯度可能为零。不能把“这一层有梯度”写成“整个支路所有参数第一步都能更新”。
先不扰动已有输出,再逐步学入新控制信号。 这是零初始化的用途;冻结预训练主干、支路设计和训练数据共同起作用,不能把“几万张就能训练”全部归因于零初始化。依据:ControlNet 原论文。
💡 上一章 DiT 的 adaLN-Zero 门控也是零初始化,同一个想法。
🎨 三、风格 LoRA:和语言模型那个是同一个东西
不是「像」,是同一个低秩适配:底座 W 冻结,旁边挂一对窄矩阵,前向变成 W·x + B(A·x),中间那个窄维度叫 rank(记作 r)。常见初始化将 B 置零、A 随机初始化,因此初始 W + BA = W;这里省略偏置、缩放系数取 1 —— 和上一节的零卷积同一个动机。
拿交叉注意力里 768 → 320 那层算笔账:原层 768×320 = 245760 个参数,LoRA 只有 r×(768+320) = 1088r 个。
r |
可训练参数 | 占原层 |
|---|---|---|
| 4 | 4352 | 1.77% |
| 64 | 69632 | 28.33% |
rank 决定这条低秩旁路的容量与参数量。 本层 r=64 的新增参数是原层的 28.33%,不能据此说整个模型已接近全量微调。适合的 r、目标层与训练长度需用留出数据比较;LoRA 可挂在注意力或其他线性/卷积层,范围取决于实现。
LoRA 是风格适配的一条路。 若底座已有相应能力,提示词可能足够;参考图条件、其他适配器或微调方法也是选项。需要训练时,数据量取决于目标、底座与样本覆盖度,没有通用的“20–100 张即可”门槛。依据:LoRA 原论文的低秩更新形式;这里的风格用法还需具体训练验证。
⚖️ 四、三者的分工(这一章最该记住的一张表)
| 管什么 | 怎么进模型 | 代价 | |
|---|---|---|---|
| 提示词 | 画什么 —— 内容、语义 | 文本编码器 → 条件 c |
不额外训练权重;仍需文本编码和生成计算 |
| ControlNet | 画成什么形状 —— 构图、姿势 | 一条并行支路,逐级加进主干 | 多跑一份编码器副本 |
| 风格 LoRA | 用什么风格画 —— 笔触、角色 | 直接改主干若干层的权重 | 需要适配训练;推理开销取决于是否合并权重、目标层与实现 |
- 没有文本时,ControlNet 仍可能从条件图与底座先验生成内容;语义与结构是否满足要求都需检查。
- LoRA 可能同时影响风格、角色与构图;没有显式空间条件时,不能据此保证布局稳定。
- ControlNet 接受空间对齐的条件图并学习控制;它是软条件,不保证逐像素或逐关节严格服从。
💸 五、代价
① ControlNet 增加支路计算。 原始方案复制编码器和中间块,参数与中间激活都会增加。标准双分支 CFG 通常还处理正、负两份条件;但并非所有模式都让 ControlNet 跑两份:Diffusers 的 guess_mode 可仅计算有条件分支,再给无条件分支补零残差。因此不能用“固定翻倍”替代实际调用与显存测量。依据:官方管线中的 guess mode 分支(核对日期 2026-10-20)。
② 多个空间条件可能冲突。 例如线稿和深度给出不一致的手部位置,生成器未必同时满足;需逐项加入条件,比较控制强度、使用时段与具体失败区域,不能断言冲突必在原位置造成崩坏。
③ 多个 LoRA 的权重更新会叠加,也可能相互干扰。 简单相加不包含协调这些适配器的训练。先单独检查每个适配器,再调各自系数,并保留组合的留出评估;不能保证两个单独有效的适配器合起来仍有效。
④ 风格适配也可能学入背景和构图。 若输出反复接近训练图布局,先检查训练数据的相关性与过拟合,再比较学习率、训练长度、rank 与推理强度。扩大构图覆盖或减少更新是可测的方案,不保证只改一个参数就能解决。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 大模型全景导论 主线 5 · 怎样把模型变成你的助手 | ⭐ 同一个低秩适配:那页讲原权重 W、全量微调要学的 ΔW、以及用两个更窄的矩阵 BA 去近似它,还多讲一件本章没讲的 —— 什么时候根本不该微调 |
| 机器学习与深度学习基础 12 · CNN 处理图像 | 「零卷积」就是它「三个变体」那节的 1×1 卷积:不看空间、只在通道间做线性组合。⭐ 接回主干那个 +,也是它残差连接那节的同一个 + |
| AI基础设施 09 · 显存优化全家桶 | 区分冻结主干与可训练支路:可训练部分才需要相应梯度和优化器状态,激活还取决于反传路径。batch=1 仍 OOM 只能帮助排查,不能唯一判定是参数或优化器问题;应分项测量峰值显存。 |
| 大模型全景导论 10b · 图像生成 | 回到图像生成组件总览,再按本章的空间条件与权重适配区分两种机制;导论已有本站扩散模块入口。 |
✅ 检查点
- 提示词说不清「形状」和说不清「风格」,失败方式有什么不同?
- ControlNet 冻结哪一份、训练哪一份?副本复制主干的哪一半,又加回哪一半?
- 零初始化的卷积第 0 步输出是多少?那它靠什么学起来?换成默认初始化会怎样?
r=64时 LoRA 的可训练参数占原层多少?为什么它不是越大越好?- ControlNet 与 CFG 合用时为什么要核对实际分支?guess mode 有何例外?多个 LoRA 的组合应怎样验证?
👀 答案
- 文本可以描述结构与风格,但复杂约束未必稳定。空间条件可增强结构控制,权重适配可学习新需求;不能仅凭失败就断定文字无法表达或底座完全未见过。
- 原始方案冻结预训练主干,复制编码器和中间块作为可训练支路;零卷积连接跳连路径与中间块,由冻结主干解码器继续处理。
- 本例零卷积初始输出为 0,主干输出最大差 0.0;该层权重梯度范数 2501.0,因此可更新。它上游的参数首次收到的梯度可能为零。默认初始化在本例引入最大 2.217 的改动。
- 这一层为 28.33%(r=4 为 1.77%),不含偏置。它是单层新增参数比,不代表整模型微调占比;rank 增加容量与开销,是否改善泛化要用留出样本验证。
- 标准 CFG 需要两份去噪预测,可合批;ControlNet 是否为两份都计算取决于管线,guess mode 可只处理条件支路。多个 LoRA 需检查各自强度与组合后的留出表现,不能从单独有效推断组合有效。
本节回顾
读到这里你已经能看懂一份出图工作流:哪部分是提示词、哪部分是 ControlNet 的条件图、挂了几个 LoRA、那几个 0.x 在调什么。⭐ 更重要的是出了问题知道该动哪一个。
什么时候回来:加了 LoRA 之后构图被锁死时回看第五节 ④;显存或耗时突然翻倍时回看第五节 ①。
⚡ 走神救援
先记住这几件事
- ControlNet 用额外空间条件控制结构,LoRA 用低秩更新适配风格等需求。
- 零初始化连接让 ControlNet 起步时保持底座输出,同时仍能学习。
- 多个控制或适配器会叠加计算与相互影响,逐项加入并分别调整强度。
下一节 👉 09-怎么评估.md