🏠 总目录📚 本教程 08 · ControlNet 与风格 LoRA ← →

扩散模型 / 08

文本、空间控制与风格适配,各补了哪条信息路径?

从条件分工到ControlNet支路、零卷积,再对照风格LoRA和资源成本。

📑 本页目录(点开跳转)

08 · ControlNet 与风格 LoRA

⏱ 22 分钟 | ⭐ 提示词管「画什么」,这一章补上「画成什么形状」和「用什么风格画」


🎯 一句话

提示词能描述内容、空间关系和风格,但细密控制未必稳定。 ControlNet 用边缘、深度或姿态等额外空间条件加强结构控制;LoRA 用低秩权重更新适配风格、角色等需求。三者可组合,也有能力重叠,不能仅靠名字判断哪一种必需。


🖐️ 一、文本、空间条件与适配各补什么

上一章用 (x_t,t,c) 解释去噪器的概念输入,实际还要核对输出目标与方差头。本章的 ControlNet 增加条件支路,LoRA 修改部分层的权重;这是两种常见做法,不是全部控制方法的穷尽分类。

你想控制的 文字够不够
画什么(一只猫、雪地、黄昏) 常可用文本表达,但是否遵从仍需检查
画成什么形状(构图、姿势、线稿) 可以描述,细密布局或姿态却可能不稳定;可用空间条件和输出检查增强控制
用什么风格画(某种笔触、你的角色) 已有风格可能通过文本触发;新概念或稳定身份可考虑适配与参考图方法,不能先断定底座未见过

🧬 二、ControlNet:复制编码器与中间块,再接回主干

复制一份可训练的副本,用零初始化卷积接回冻结的主干🔒 冻结的原主干编码器瓶颈解码器🔥 可训练副本编码器/中间块条件图编码线稿 / 深度 / 姿态0零初始化卷积⭐ 第 0 步这条支路输出恒为 0 —— 本例零卷积不改变主干输出(最大差 0.0)本例零卷积权重梯度为 2501.0;不代表所有上游参数第一步都有梯度
看中间那个标着 0 的圆:训练开始时它让整条支路输出为零,⭐ 于是本例零卷积暂不扰动主干输出 —— 不破坏已训好的东西,却照样有梯度可学。 原始 SD 方案的副本包括编码器与中间块,残差经多尺度跳连和中间块接回冻结主干;图中仅简画一条连接。数值沿用本章历史示例,本轮未复跑 PyTorch。
  1. 冻结原来的去噪主干(上一章那个 U-Net),一个权重都不动。
  2. 在原始 SD U-Net 方案中,复制编码器与中间块作可训练支路,保留其预训练权重起点;新增条件编码与连接模块另行初始化。
  3. 条件图(Canny 边缘图 / 深度图 / 姿态骨架)经一个小编码器,加到副本输入上。
  4. 支路输出经零初始化的 1×1 卷积,送入主干的跳连路径与中间块,再由解码器使用。它不是另训一整个解码器。

第 4 步那个「零初始化」是整个设计的支点:

# 零初始化卷积:训练前输出恒为 0,梯度却不为 0 —— 所以它接得进去,也学得起来
import torch
import torch.nn as nn

torch.manual_seed(0)
frozen = torch.randn(1, 320, 8, 8)      # 冻结主干这一级的输出
branch = torch.randn(1, 320, 8, 8)      # 可训练副本这一级的输出
zc = nn.Conv2d(320, 320, 1)             # ⭐ ControlNet 接回主干用的 1×1 卷积
nn.init.zeros_(zc.weight); nn.init.zeros_(zc.bias)

out = frozen + zc(branch)               # ControlNet 就是这么接回去的
print("接回后的最大差", out.sub(frozen).abs().max().item())
out.sum().backward()
print("权重梯度范数  ", round(zc.weight.grad.norm().item(), 1))
print("默认初始化的话", round(nn.Conv2d(320, 320, 1)(branch).abs().max().item(), 3))

零初始化:先不扰动,再学习

这个小实验只检查一层 1×1 卷积接回主干的效果,不是完整 ControlNet 的质量测试。

检查项 结果
零初始化支路接回后的最大差 0.0
这层卷积的权重梯度范数 2501.0
默认随机初始化带来的最大改动 2.217

0.0 说明这段示例中的加法支路初始输出为零,因此不改变 frozen。零卷积的权重梯度范数 2501.0 不为零,说明该层可开始更新;默认随机初始化在本例带来最大 2.217 的扰动。

要区分零卷积和它上游的支路:第一次反传时,通过零权重传给上游的梯度可能为零。不能把“这一层有梯度”写成“整个支路所有参数第一步都能更新”。

先不扰动已有输出,再逐步学入新控制信号。 这是零初始化的用途;冻结预训练主干、支路设计和训练数据共同起作用,不能把“几万张就能训练”全部归因于零初始化。依据:ControlNet 原论文。

💡 上一章 DiT 的 adaLN-Zero 门控也是零初始化,同一个想法。


🎨 三、风格 LoRA:和语言模型那个是同一个东西

不是「像」,是同一个低秩适配:底座 W 冻结,旁边挂一对窄矩阵,前向变成 W·x + B(A·x),中间那个窄维度叫 rank(记作 r)。常见初始化将 B 置零、A 随机初始化,因此初始 W + BA = W;这里省略偏置、缩放系数取 1 —— 和上一节的零卷积同一个动机。

拿交叉注意力里 768 → 320 那层算笔账:原层 768×320 = 245760 个参数,LoRA 只有 r×(768+320) = 1088r 个。

r 可训练参数 占原层
4 4352 1.77%
64 69632 28.33%

rank 决定这条低秩旁路的容量与参数量。 本层 r=64 的新增参数是原层的 28.33%,不能据此说整个模型已接近全量微调。适合的 r、目标层与训练长度需用留出数据比较;LoRA 可挂在注意力或其他线性/卷积层,范围取决于实现。

LoRA 是风格适配的一条路。 若底座已有相应能力,提示词可能足够;参考图条件、其他适配器或微调方法也是选项。需要训练时,数据量取决于目标、底座与样本覆盖度,没有通用的“20–100 张即可”门槛。依据:LoRA 原论文的低秩更新形式;这里的风格用法还需具体训练验证。


⚖️ 四、三者的分工(这一章最该记住的一张表)

管什么 怎么进模型 代价
提示词 画什么 —— 内容、语义 文本编码器 → 条件 c 不额外训练权重;仍需文本编码和生成计算
ControlNet 画成什么形状 —— 构图、姿势 一条并行支路,逐级加进主干 多跑一份编码器副本
风格 LoRA 用什么风格画 —— 笔触、角色 直接改主干若干层的权重 需要适配训练;推理开销取决于是否合并权重、目标层与实现

💸 五、代价

① ControlNet 增加支路计算。 原始方案复制编码器和中间块,参数与中间激活都会增加。标准双分支 CFG 通常还处理正、负两份条件;但并非所有模式都让 ControlNet 跑两份:Diffusers 的 guess_mode 可仅计算有条件分支,再给无条件分支补零残差。因此不能用“固定翻倍”替代实际调用与显存测量。依据:官方管线中的 guess mode 分支(核对日期 2026-10-20)。

② 多个空间条件可能冲突。 例如线稿和深度给出不一致的手部位置,生成器未必同时满足;需逐项加入条件,比较控制强度、使用时段与具体失败区域,不能断言冲突必在原位置造成崩坏。

③ 多个 LoRA 的权重更新会叠加,也可能相互干扰。 简单相加不包含协调这些适配器的训练。先单独检查每个适配器,再调各自系数,并保留组合的留出评估;不能保证两个单独有效的适配器合起来仍有效。

④ 风格适配也可能学入背景和构图。 若输出反复接近训练图布局,先检查训练数据的相关性与过拟合,再比较学习率、训练长度、rank 与推理强度。扩大构图覆盖或减少更新是可测的方案,不保证只改一个参数就能解决。


🔗 这一章连到哪里

去哪 为什么
大模型全景导论 主线 5 · 怎样把模型变成你的助手 ⭐ 同一个低秩适配:那页讲原权重 W、全量微调要学的 ΔW、以及用两个更窄的矩阵 BA 去近似它,还多讲一件本章没讲的 —— 什么时候根本不该微调
机器学习与深度学习基础 12 · CNN 处理图像 「零卷积」就是它「三个变体」那节的 1×1 卷积:不看空间、只在通道间做线性组合。⭐ 接回主干那个 +,也是它残差连接那节的同一个 +
AI基础设施 09 · 显存优化全家桶 区分冻结主干与可训练支路:可训练部分才需要相应梯度和优化器状态,激活还取决于反传路径。batch=1 仍 OOM 只能帮助排查,不能唯一判定是参数或优化器问题;应分项测量峰值显存。
大模型全景导论 10b · 图像生成 回到图像生成组件总览,再按本章的空间条件与权重适配区分两种机制;导论已有本站扩散模块入口。

✅ 检查点

  1. 提示词说不清「形状」和说不清「风格」,失败方式有什么不同?
  2. ControlNet 冻结哪一份、训练哪一份?副本复制主干的哪一半,又加回哪一半?
  3. 零初始化的卷积第 0 步输出是多少?那它靠什么学起来?换成默认初始化会怎样?
  4. r=64 时 LoRA 的可训练参数占原层多少?为什么它不是越大越好?
  5. ControlNet 与 CFG 合用时为什么要核对实际分支?guess mode 有何例外?多个 LoRA 的组合应怎样验证?
👀 答案
  1. 文本可以描述结构与风格,但复杂约束未必稳定。空间条件可增强结构控制,权重适配可学习新需求;不能仅凭失败就断定文字无法表达或底座完全未见过。
  2. 原始方案冻结预训练主干,复制编码器和中间块作为可训练支路;零卷积连接跳连路径与中间块,由冻结主干解码器继续处理。
  3. 本例零卷积初始输出为 0,主干输出最大差 0.0;该层权重梯度范数 2501.0,因此可更新。它上游的参数首次收到的梯度可能为零。默认初始化在本例引入最大 2.217 的改动。
  4. 这一层为 28.33%(r=4 为 1.77%),不含偏置。它是单层新增参数比,不代表整模型微调占比;rank 增加容量与开销,是否改善泛化要用留出样本验证。
  5. 标准 CFG 需要两份去噪预测,可合批;ControlNet 是否为两份都计算取决于管线,guess mode 可只处理条件支路。多个 LoRA 需检查各自强度与组合后的留出表现,不能从单独有效推断组合有效。

本节回顾

读到这里你已经能看懂一份出图工作流:哪部分是提示词、哪部分是 ControlNet 的条件图、挂了几个 LoRA、那几个 0.x 在调什么。⭐ 更重要的是出了问题知道该动哪一个。

什么时候回来:加了 LoRA 之后构图被锁死时回看第五节 ④;显存或耗时突然翻倍时回看第五节 ①。

⚡ 走神救援

先记住这几件事

下一节 👉 09-怎么评估.md

打卡记录保存在你的浏览器里,首页能看到总进度