🏠 总目录📚 本教程 06 · 条件控制与 CFG ← →

扩散模型 / 06

CFG同一状态的两份预测,怎样影响更新方向?

沿文本向量→交叉注意力→条件/空条件预测组合→尺度与资源→temperature对照。

📑 本页目录(点开跳转)

06 · 条件控制:文本与 CFG

⏱ 22 分钟 | ⭐ 看懂标准 CFG 的两份预测,再分清哪些 guidance 参数不按这条公式工作


🎯 一句话

文本条件告诉去噪网络“想生成什么”;标准 CFG 再把有条件与无该语义条件的预测作差,在采样时调节这份差。

这一章以 SD-v1 式文本条件和标准双分支 CFG 为主例。这里的 guidance scale 不是所有模型、所有 UI 中同名参数的统一定义;第五节会单独说明蒸馏模型的边界。

从上一章的潜空间继续:每次去噪都可以读取条件,而不只是把提示词混进初始噪声。想先看滑块怎么算,去第三节;想看一段能运行的数值例子,去第四节。


📝 一、文本先变成一串向量

在 SD-v1 这个接口里,提示词先经过冻结的 CLIP ViT-L/14 文本塔,得到 token 级隐藏状态。 它使用 77 个位置、每个位置 768 维的表示;不是一整句话只给一个向量。

这里的 77 是位置数,不是 77 个词:序列还包含特殊标记和填充位置,一个词也可能拆成多个 token。该基础实现把短输入补齐、长输入截断;某些工具另外实现了长提示词处理,不能只凭这个数字判断所有 UI。SD-v1 文本编码器、模型配置、CLIP 分词入口。

保留一串向量,下一步就能让不同图像位置取不同的文本信息。例如“戴红帽子的猫”,帽子区域与爪子区域可以使用不同的权重。

但这不是“文本条件必须是一串”的定理。全局向量、类别标签也能作为条件;把文本汇总成一个向量也不等于语义全丢了。本页选择 token 序列,是因为要解释接下来的交叉注意力。


🔀 二、交叉注意力:图像位置怎样取文本信息

交叉注意力放在选定的注意力模块里,不是每一个卷积层都执行一次。 在 SD-v1 的 U-Net 中,模块位置由分辨率配置等结构设置决定;各次去噪调用都能使用同一份文本条件。U-Net 实现。

一份文本,两条用途:K 用来匹配,V 用来取回内容 图像特征 → 投影为 Q 4×4 特征示例:N=16 个位置 文本隐藏状态 SD-v1:77×768 Q 与 K 打分 每行沿 77 个位置 softmax 权重 A:16×77 用 A 加权 V 取回:16×d_v 投影 K 单独投影 V:77×d_v 图省略批维和多头;位置数与投影维数不是同一个轴
先看中间权重矩阵:行对应图像位置,列对应文本 token 位置。每行可以取不同的文本信息;这提供局部关联能力,不保证“红色”绝不会影响到帽子以外。
投影 从哪来 单个注意力头里有多少位置
Q:用什么去匹配 当前图像特征 N = h×w
K:按什么被匹配 文本隐藏状态,经 K 投影 L = 77(本例)
V:取回什么内容 同一份文本隐藏状态,经另一组 V 投影 L = 77(本例)

这里的 d_v 是单个注意力头中 V 投影后的维数,不等于文本编码器原来的 768 维。

每头打分矩阵是 N×L;若批内有 B 个样本、每个模块有 heads 个头,写全形状就是 B×heads×N×L。沿最后一个轴做 softmax 后,每个图像位置取得一组文本权重,再把 V 加权取回。交叉注意力实现。

所以,“提示词塞在哪里”的准确答案是:文本条件被传入主干,在配置好的条件模块中使用。 文本编码通常可先算一次并缓存;每次去噪的图像特征会变化,注意力关联也随之变化。时间条件 t 是另一条输入,留到下一章讲。


🎚️ 三、CFG:同一状态取两份预测

先决条件在训练阶段:模型必须学过缺少这份语义条件时怎样预测。 标准 CFG 训练会以设定概率把语义条件替换为训练时约定的空语义条件(null);带噪输入和时间条件仍在。不是推理时随手关闭任意条件模型,也不是随机清零一部分嵌入元素。CFG 原论文算法 1。

例如 SD-v1-3/1-4 的训练说明写了 10% 文本条件丢弃;这是具体版本的超参数,不是 CFG 必须使用的常数。“无条件”在这里指不带指定文本语义条件,仍然看着 x_t 和 t。CompVis 训练说明。

采样时,对同一个 x_t、同一个 t、同一种预测参数化取得两份结果:带文本的 ε_cond 与 null 条件的 ε_uncond。本页沿用 ε 预测记号,再合成:

$$\tilde{\varepsilon} = \varepsilon_{\text{uncond}} + s \cdot (\varepsilon_{\text{cond}} - \varepsilon_{\text{uncond}})$$

括号是两份预测的差,s 决定从无条件预测出发沿这份差走多远。它是预测空间的运算,不是把两张最终图片混合。

s>1 才是越过条件预测的外推 s=0:ε_uncond s=1:ε_cond s=7.5 s=15 沿预测差继续走,不是画质等级 每增加 1 个 s,图上向右 40 单位;假设两份预测不相同 本图表示公式坐标,不表示某个 API 在 s≤1 时的执行开关
看 s=1:仍是带条件预测,只是不做额外 CFG 外推。7.5 与 15 只是公式中的外推位置,不能据此宣布哪一点画质好、哪一点必然崩坏。

把公式整理成 (1−s)·ε_uncond + s·ε_cond,三个边界就清楚了:

本页公式的 s 结果 注意
0 ε_uncond 代数结论;不保证 UI 的 0 会执行无条件分支
1 ε_cond 仍使用条件,没有额外外推
大于 1 越过 ε_cond,无条件项系数为负 假设两份预测不同;若完全相同,改变 s 不起作用

原论文把合成写成 (1+w)·ε_cond − w·ε_uncond,与这里的关系是 s=1+w,因此论文的 w=0 对应本页 s=1。看到“guidance 为零”,必须先查采用哪套约定。CFG 原论文算法 2。

CompVis 参考文本生成脚本的默认 scale 是 7.5,但这是该脚本的默认值,不是所有 UI 或模型的通用推荐值。参考运行参数。

空条件不等于所有模型都用全零

在本页的 SD-v1 路径中,null 分支可用空字符串经过文本编码器得到的嵌入,不是直接给全零张量。其他模型会不同:原始 DiT 使用额外类别 ID;当前 SDXL 实现中,negative_prompt=None 且开启 force_zeros_for_empty_prompt 时可以使用零嵌入,显式空字符串又不是这一判定。SDXL 条件编码。

如果把 null 分支换成负面提示词,标准组合成为 ε_neg + s·(ε_pos−ε_neg)。这时负面分支是另一份有条件预测,不再是严格的无条件预测。s>1 时其系数 1−s 为负;s=1 时它的系数为零。标准 SD 管线的负面分支。

负面词不是逻辑 NOT。 这条差分能改变采样方向,但不保证彻底删除指定概念,也不能概括所有模型的负面词实现。

👀 名字里的 free 指什么

classifier guidance 需要额外的分类器提供引导;classifier-free guidance 联合学习条件与 null 预测,不再需要那一个额外分类器。它不是“没有条件”,也不是“引导不花计算”。


📉 四、s 调大,先看预测数值会发生什么

这个实验只检查合成公式,不评测图像。 下面保留两个假预测张量和固定种子,观察向量范数与越过 ±3 的分量数。无需下载模型。

代码沿用“训练时见过”“训练尺度”的打印标签;在本例里它们只指标准高斯参考。真实噪声预测器的输出分布不必等于训练噪声目标的分布,不能从这个标签推出真实模型的合法范围。

# CFG 合成出来的 ε,随 s 被放大成什么样
import torch

torch.manual_seed(0)
D = 256                                # 假装是展平的潜变量
eps_uncond = torch.randn(D)            # 空提示词那次前向的输出
eps_cond = eps_uncond + 0.35 * torch.randn(D)   # 带条件那次
base = D ** 0.5                        # 训练时 ε~N(0,I),典型范数约 sqrt(256)=16,并非范数期望的精确值

print(f"训练时见过的 ε:范数约 {base:.1f},几乎没有分量超过 3")
for s in (1.0, 3.0, 7.5, 15.0):
    eps = eps_uncond + s * (eps_cond - eps_uncond)   # ⭐ 就是 CFG 那一行
    n = eps.norm().item()
    print(f"s={s:4.1f}  范数 {n:6.2f}(训练尺度的 {n/base:.2f} 倍)"
          f"  越过 3 的分量 {int((eps.abs() > 3).sum()):3d} 个")

先定位循环中的 eps = ...:只有这一行随 s 合成预测,两份假预测本身不变。norm() 量整体长度,最后一行的比较统计单个分量;二者不是同一个指标。

本例 CFG 外推怎样改变向量尺度

256 维标准高斯的范数均方根为 16,可作典型尺度,但不是范数期望的精确值。本次独立执行得到:

CFG 强度 s 合成向量范数 相对参考尺度 绝对值超过 3 的分量数
1.0 15.81 0.99 倍 0
3.0 22.84 1.43 倍 9
7.5 47.13 2.95 倍 70
15.0 91.65 5.73 倍 152

看 s=7.5:范数是参考尺度的 2.95 倍,有 70 个分量越过 3。这说明本例的外推显著改变了数值尺度;3 不是模型的硬边界,标准高斯本身也可能越过它。

也不能把表格概括成“所有预测的范数都随 s 增长”。一个简单反例:无条件预测为 (2,0)、条件预测为 (1,0),则 s=0、1、2、3 的合成范数分别为 2、1、0、1,先减后增。

真实生成中,过强引导可能伴随过饱和、结构或纹理伪影,以及多样性下降;它们需要图像实验验证,不是本页随机向量表的观测结果。也不存在由这张表推导出的通用最佳 s。CFG 论文的质量与多样性讨论。

实际比较时,固定模型、提示词与采样器,对每个 s 使用同一组多个种子;既看条件匹配,也看细节和样本间差异。多样性不能靠一张图判断。


💰 五、代价与例外:先认清是哪一种 guidance

标准双分支 CFG 每个去噪状态需要两份预测。 若采样器恰好有 50 次这样的去噪评估,就是 100 份预测工作。两份可以分别调用,也可以合成一个较大的 batch;不代表一定有 100 次函数调用,墙钟时间也不必恰好翻倍。

合批可能减少调度和重复访存、改善设备利用率,但没有把第二份输入对应的网络计算抹掉。计时前先对齐:采样器的“步”、模型评估次数、每次 batch 大小、硬件与实际耗时。

同名参数不一定执行同一算法。 以下是具体实现的边界,不是未来所有模型的通则:

模型或实现 应怎样理解
常规 Diffusers StableDiffusionPipeline 显式 CFG 的开关通常要求 guidance_scale>1,且没有时间条件投影分支;因此 API 中 ≤1 可直接走条件预测,不等于照本页公式返回无条件结果
SDXL-Turbo 官方使用方式 示例设 guidance_scale=0,不使用常规 CFG/负面词;正提示词仍是生成条件
FLUX.1-dev 的官方参考实现 模型经过 guidance distillation;guidance 数值作为模型条件嵌入,参考循环并不因此每步算一正一负
当前 Diffusers FluxPipeline guidance_scale 条件嵌入与 true_cfg_scale 显式组合是两件事;后者在大于 1 且提供负面条件时才需要另一份预测

对应一手入口:SD 的 CFG 开关、SDXL-Turbo 模型卡、FLUX.1-dev 模型卡、BFL 模型条件与参考采样循环、Diffusers FluxPipeline。实现边界核对于 2026-09-11。

所以,看到“20 步出图”或一个 guidance 滑块,先查模型版本与管线。别把“没有显式双分支 CFG”读成“没有文本条件”。


🌡️ 六、与 temperature 对照:不是同一根滑块

语言模型的 temperature 本页标准 CFG 的 s
改哪里 token 采样分布的尖锐程度 两份去噪预测的线性组合
往小/大调的直接含义 降低正温度通常降低采样随机性 s>1 时增大 s,加强沿预测差的外推
不能保证什么 低温不保证更遵守指令或事实正确 高 s 不保证更匹配提示词或画质更好
走极端时应观察 输出是否过于单一、反复重复高概率内容 是否过饱和、结构或纹理异常、样本多样性下降
计算口径 温度缩放本身不增加模型预测份数 标准双分支 CFG 需要两份预测,可合批

可保留的类比是:采样参数会改变结果分布,需要按任务做受控比较。 但两者的数学操作、方向和实现代价不同;降低语言模型随机性,不等于增加扩散条件差。温度缩放说明。

一次只改一个变量,是为了知道变化由谁造成,不是因为两种旋钮等价。保留一个可复查的基准设置,再逐项试验,比记住一个跨模型“安全默认值”可靠。


🔗 这一章连到哪里

去哪 为什么
大模型全景导论 06c · 解码参数怎么调 看 temperature 的数学:logits 差为 2.0、T=0.5 时,概率比约为 54.6。它与 top_p 分开试验,是控制变量的方法
大模型全景导论 主线 2 · 模型怎样看懂一句话 补 Q/K/V 的角色;本页把 Q 与 K/V 的来源拆成图像、文本两边
大模型全景导论 10d · CLIP 与对比学习 看冻结文本编码器的训练来历:原始 CLIP 使用 4 亿图文对,采用 InfoNCE 一类对比目标;batch 内 N×N 匹配提高成对项(对角线)的相对得分。别与本页图像位置×文本位置的注意力矩阵混淆
大模型全景导论 06 · 推理优化:省显存 区分算力密集与访存密集,理解为什么合批可能改善耗时,却没有省掉第二份预测的乘加

图文对规模与训练目标见 CLIP 原论文;训练数据规模属于文本编码器的来历,不是本页假预测实验的规模。


✅ 检查点

  1. 本页 SD-v1 文本接口输出一个向量还是一串?77 是否指 77 个词?为什么保留不同位置有用?
  2. 交叉注意力里 Q、K、V 各来自哪边?打分矩阵什么形状?是否每层都有、是否保证属性绝不串到别处?
  3. 标准 CFG 合成公式是什么?s=1 有无文本条件,s>1 为什么叫外推?负面词替换的是哪一份预测?
  4. 大 s 可能伴随哪些问题,哪一类不能看单张图判断?本页随机实验真正测到了什么?
  5. 标准 CFG 需要多少预测工作?合批省不掉什么?为什么不能把所有模型的 guidance 参数都按两份预测计费?
👀 答案
  1. 本页使用 77×768 的 token 级隐藏状态,77 包括特殊与填充位置,不等于词数。不同图像位置可以取不同文本信息,但这不是所有条件接口必须使用序列的定理。
  2. Q 来自图像特征投影,K/V 来自文本隐藏状态的分别投影。每头为 (h·w)×77,完整为 B×heads×(h·w)×77。在选定模块中使用,不是每层都有,也不保证“红色”只影响帽子。
  3. ε = ε_uncond + s·(ε_cond−ε_uncond);s=1 是条件预测,没有额外外推。s>1 时无条件项系数为负,若两份预测不同便越过条件点。负面词通常替换基线分支,成为 ε_neg+s·(ε_pos−ε_neg),不再是严格无条件,也不是逻辑 NOT。
  4. 可能有过饱和、结构或纹理伪影、多样性下降;最后一项需要比较多个样本。本页只测假预测的数值:s=7.5 时范数为参考 16 的 2.95 倍、70 个分量绝对值超过 3。没有生成图片,3 也不是模型硬边界。
  5. 每个需要标准双分支 CFG 的状态有两份预测工作,可分开调用或合批。合批可改善调度、访存和利用率,但不消除第二份网络计算;耗时不保证恰好翻倍。蒸馏 guidance 条件嵌入与显式 CFG 是不同实现,须查模型和管线。

本节回顾

现在你可以把三件事分开:文本怎样进入网络、标准 CFG 怎样组合预测、当前模型是否真的执行这条双分支公式。

要查提示词长度与局部关联,回看前两节;要查 s 的数值与计时口径,回看第三至五节。出现颜色、纹理或多样性问题时,先在同一组种子下与已记录的基准比较,不把所有问题都归因于一个滑块。

⚡ 走神救援

先记住这几件事

  • 文本条件在选定模块中影响去噪;不是每层都做交叉注意力。
  • 标准 CFG 需要训练好的 null 分支,s=1 仍是有条件预测。
  • 随机向量表只证明本例数值变化,画质与多样性要另做图像对照。
  • 同名 guidance 不保证同一算法,先核对模型版本与管线。

上一节:05 · Latent Diffusion | 下一节:07 · 去噪主干:U-Net 与 DiT

打卡记录保存在你的浏览器里,首页能看到总进度