06 · 条件控制:文本与 CFG
⏱ 22 分钟 | ⭐ 看懂标准 CFG 的两份预测,再分清哪些 guidance 参数不按这条公式工作
🎯 一句话
文本条件告诉去噪网络“想生成什么”;标准 CFG 再把有条件与无该语义条件的预测作差,在采样时调节这份差。
这一章以 SD-v1 式文本条件和标准双分支 CFG 为主例。这里的 guidance scale 不是所有模型、所有 UI 中同名参数的统一定义;第五节会单独说明蒸馏模型的边界。
从上一章的潜空间继续:每次去噪都可以读取条件,而不只是把提示词混进初始噪声。想先看滑块怎么算,去第三节;想看一段能运行的数值例子,去第四节。
📝 一、文本先变成一串向量
在 SD-v1 这个接口里,提示词先经过冻结的 CLIP ViT-L/14 文本塔,得到 token 级隐藏状态。 它使用 77 个位置、每个位置 768 维的表示;不是一整句话只给一个向量。
这里的 77 是位置数,不是 77 个词:序列还包含特殊标记和填充位置,一个词也可能拆成多个 token。该基础实现把短输入补齐、长输入截断;某些工具另外实现了长提示词处理,不能只凭这个数字判断所有 UI。SD-v1 文本编码器、模型配置、CLIP 分词入口。
保留一串向量,下一步就能让不同图像位置取不同的文本信息。例如“戴红帽子的猫”,帽子区域与爪子区域可以使用不同的权重。
但这不是“文本条件必须是一串”的定理。全局向量、类别标签也能作为条件;把文本汇总成一个向量也不等于语义全丢了。本页选择 token 序列,是因为要解释接下来的交叉注意力。
🔀 二、交叉注意力:图像位置怎样取文本信息
交叉注意力放在选定的注意力模块里,不是每一个卷积层都执行一次。 在 SD-v1 的 U-Net 中,模块位置由分辨率配置等结构设置决定;各次去噪调用都能使用同一份文本条件。U-Net 实现。
| 投影 | 从哪来 | 单个注意力头里有多少位置 |
|---|---|---|
| Q:用什么去匹配 | 当前图像特征 | N = h×w |
| K:按什么被匹配 | 文本隐藏状态,经 K 投影 | L = 77(本例) |
| V:取回什么内容 | 同一份文本隐藏状态,经另一组 V 投影 | L = 77(本例) |
这里的 d_v 是单个注意力头中 V 投影后的维数,不等于文本编码器原来的 768 维。
每头打分矩阵是 N×L;若批内有 B 个样本、每个模块有 heads 个头,写全形状就是 B×heads×N×L。沿最后一个轴做 softmax 后,每个图像位置取得一组文本权重,再把 V 加权取回。交叉注意力实现。
所以,“提示词塞在哪里”的准确答案是:文本条件被传入主干,在配置好的条件模块中使用。 文本编码通常可先算一次并缓存;每次去噪的图像特征会变化,注意力关联也随之变化。时间条件 t 是另一条输入,留到下一章讲。
🎚️ 三、CFG:同一状态取两份预测
先决条件在训练阶段:模型必须学过缺少这份语义条件时怎样预测。 标准 CFG 训练会以设定概率把语义条件替换为训练时约定的空语义条件(null);带噪输入和时间条件仍在。不是推理时随手关闭任意条件模型,也不是随机清零一部分嵌入元素。CFG 原论文算法 1。
例如 SD-v1-3/1-4 的训练说明写了 10% 文本条件丢弃;这是具体版本的超参数,不是 CFG 必须使用的常数。“无条件”在这里指不带指定文本语义条件,仍然看着 x_t 和 t。CompVis 训练说明。
采样时,对同一个 x_t、同一个 t、同一种预测参数化取得两份结果:带文本的 ε_cond 与 null 条件的 ε_uncond。本页沿用 ε 预测记号,再合成:
$$\tilde{\varepsilon} = \varepsilon_{\text{uncond}} + s \cdot (\varepsilon_{\text{cond}} - \varepsilon_{\text{uncond}})$$
括号是两份预测的差,s 决定从无条件预测出发沿这份差走多远。它是预测空间的运算,不是把两张最终图片混合。
把公式整理成 (1−s)·ε_uncond + s·ε_cond,三个边界就清楚了:
| 本页公式的 s | 结果 | 注意 |
|---|---|---|
| 0 | ε_uncond |
代数结论;不保证 UI 的 0 会执行无条件分支 |
| 1 | ε_cond |
仍使用条件,没有额外外推 |
| 大于 1 | 越过 ε_cond,无条件项系数为负 |
假设两份预测不同;若完全相同,改变 s 不起作用 |
原论文把合成写成 (1+w)·ε_cond − w·ε_uncond,与这里的关系是 s=1+w,因此论文的 w=0 对应本页 s=1。看到“guidance 为零”,必须先查采用哪套约定。CFG 原论文算法 2。
CompVis 参考文本生成脚本的默认 scale 是 7.5,但这是该脚本的默认值,不是所有 UI 或模型的通用推荐值。参考运行参数。
空条件不等于所有模型都用全零
在本页的 SD-v1 路径中,null 分支可用空字符串经过文本编码器得到的嵌入,不是直接给全零张量。其他模型会不同:原始 DiT 使用额外类别 ID;当前 SDXL 实现中,negative_prompt=None 且开启 force_zeros_for_empty_prompt 时可以使用零嵌入,显式空字符串又不是这一判定。SDXL 条件编码。
如果把 null 分支换成负面提示词,标准组合成为 ε_neg + s·(ε_pos−ε_neg)。这时负面分支是另一份有条件预测,不再是严格的无条件预测。s>1 时其系数 1−s 为负;s=1 时它的系数为零。标准 SD 管线的负面分支。
负面词不是逻辑 NOT。 这条差分能改变采样方向,但不保证彻底删除指定概念,也不能概括所有模型的负面词实现。
👀 名字里的 free 指什么
classifier guidance 需要额外的分类器提供引导;classifier-free guidance 联合学习条件与 null 预测,不再需要那一个额外分类器。它不是“没有条件”,也不是“引导不花计算”。
📉 四、s 调大,先看预测数值会发生什么
这个实验只检查合成公式,不评测图像。 下面保留两个假预测张量和固定种子,观察向量范数与越过 ±3 的分量数。无需下载模型。
代码沿用“训练时见过”“训练尺度”的打印标签;在本例里它们只指标准高斯参考。真实噪声预测器的输出分布不必等于训练噪声目标的分布,不能从这个标签推出真实模型的合法范围。
# CFG 合成出来的 ε,随 s 被放大成什么样
import torch
torch.manual_seed(0)
D = 256 # 假装是展平的潜变量
eps_uncond = torch.randn(D) # 空提示词那次前向的输出
eps_cond = eps_uncond + 0.35 * torch.randn(D) # 带条件那次
base = D ** 0.5 # 训练时 ε~N(0,I),典型范数约 sqrt(256)=16,并非范数期望的精确值
print(f"训练时见过的 ε:范数约 {base:.1f},几乎没有分量超过 3")
for s in (1.0, 3.0, 7.5, 15.0):
eps = eps_uncond + s * (eps_cond - eps_uncond) # ⭐ 就是 CFG 那一行
n = eps.norm().item()
print(f"s={s:4.1f} 范数 {n:6.2f}(训练尺度的 {n/base:.2f} 倍)"
f" 越过 3 的分量 {int((eps.abs() > 3).sum()):3d} 个")
先定位循环中的 eps = ...:只有这一行随 s 合成预测,两份假预测本身不变。norm() 量整体长度,最后一行的比较统计单个分量;二者不是同一个指标。
本例 CFG 外推怎样改变向量尺度
256 维标准高斯的范数均方根为 16,可作典型尺度,但不是范数期望的精确值。本次独立执行得到:
| CFG 强度 s | 合成向量范数 | 相对参考尺度 | 绝对值超过 3 的分量数 |
|---|---|---|---|
| 1.0 | 15.81 | 0.99 倍 | 0 |
| 3.0 | 22.84 | 1.43 倍 | 9 |
| 7.5 | 47.13 | 2.95 倍 | 70 |
| 15.0 | 91.65 | 5.73 倍 | 152 |
看 s=7.5:范数是参考尺度的 2.95 倍,有 70 个分量越过 3。这说明本例的外推显著改变了数值尺度;3 不是模型的硬边界,标准高斯本身也可能越过它。
也不能把表格概括成“所有预测的范数都随 s 增长”。一个简单反例:无条件预测为 (2,0)、条件预测为 (1,0),则 s=0、1、2、3 的合成范数分别为 2、1、0、1,先减后增。
真实生成中,过强引导可能伴随过饱和、结构或纹理伪影,以及多样性下降;它们需要图像实验验证,不是本页随机向量表的观测结果。也不存在由这张表推导出的通用最佳 s。CFG 论文的质量与多样性讨论。
实际比较时,固定模型、提示词与采样器,对每个 s 使用同一组多个种子;既看条件匹配,也看细节和样本间差异。多样性不能靠一张图判断。
💰 五、代价与例外:先认清是哪一种 guidance
标准双分支 CFG 每个去噪状态需要两份预测。 若采样器恰好有 50 次这样的去噪评估,就是 100 份预测工作。两份可以分别调用,也可以合成一个较大的 batch;不代表一定有 100 次函数调用,墙钟时间也不必恰好翻倍。
合批可能减少调度和重复访存、改善设备利用率,但没有把第二份输入对应的网络计算抹掉。计时前先对齐:采样器的“步”、模型评估次数、每次 batch 大小、硬件与实际耗时。
同名参数不一定执行同一算法。 以下是具体实现的边界,不是未来所有模型的通则:
| 模型或实现 | 应怎样理解 |
|---|---|
| 常规 Diffusers StableDiffusionPipeline | 显式 CFG 的开关通常要求 guidance_scale>1,且没有时间条件投影分支;因此 API 中 ≤1 可直接走条件预测,不等于照本页公式返回无条件结果 |
| SDXL-Turbo 官方使用方式 | 示例设 guidance_scale=0,不使用常规 CFG/负面词;正提示词仍是生成条件 |
| FLUX.1-dev 的官方参考实现 | 模型经过 guidance distillation;guidance 数值作为模型条件嵌入,参考循环并不因此每步算一正一负 |
| 当前 Diffusers FluxPipeline | guidance_scale 条件嵌入与 true_cfg_scale 显式组合是两件事;后者在大于 1 且提供负面条件时才需要另一份预测 |
对应一手入口:SD 的 CFG 开关、SDXL-Turbo 模型卡、FLUX.1-dev 模型卡、BFL 模型条件与参考采样循环、Diffusers FluxPipeline。实现边界核对于 2026-09-11。
所以,看到“20 步出图”或一个 guidance 滑块,先查模型版本与管线。别把“没有显式双分支 CFG”读成“没有文本条件”。
🌡️ 六、与 temperature 对照:不是同一根滑块
语言模型的 temperature |
本页标准 CFG 的 s |
|
|---|---|---|
| 改哪里 | token 采样分布的尖锐程度 | 两份去噪预测的线性组合 |
| 往小/大调的直接含义 | 降低正温度通常降低采样随机性 | s>1 时增大 s,加强沿预测差的外推 |
| 不能保证什么 | 低温不保证更遵守指令或事实正确 | 高 s 不保证更匹配提示词或画质更好 |
| 走极端时应观察 | 输出是否过于单一、反复重复高概率内容 | 是否过饱和、结构或纹理异常、样本多样性下降 |
| 计算口径 | 温度缩放本身不增加模型预测份数 | 标准双分支 CFG 需要两份预测,可合批 |
可保留的类比是:采样参数会改变结果分布,需要按任务做受控比较。 但两者的数学操作、方向和实现代价不同;降低语言模型随机性,不等于增加扩散条件差。温度缩放说明。
一次只改一个变量,是为了知道变化由谁造成,不是因为两种旋钮等价。保留一个可复查的基准设置,再逐项试验,比记住一个跨模型“安全默认值”可靠。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 大模型全景导论 06c · 解码参数怎么调 | 看 temperature 的数学:logits 差为 2.0、T=0.5 时,概率比约为 54.6。它与 top_p 分开试验,是控制变量的方法 |
| 大模型全景导论 主线 2 · 模型怎样看懂一句话 | 补 Q/K/V 的角色;本页把 Q 与 K/V 的来源拆成图像、文本两边 |
| 大模型全景导论 10d · CLIP 与对比学习 | 看冻结文本编码器的训练来历:原始 CLIP 使用 4 亿图文对,采用 InfoNCE 一类对比目标;batch 内 N×N 匹配提高成对项(对角线)的相对得分。别与本页图像位置×文本位置的注意力矩阵混淆 |
| 大模型全景导论 06 · 推理优化:省显存 | 区分算力密集与访存密集,理解为什么合批可能改善耗时,却没有省掉第二份预测的乘加 |
图文对规模与训练目标见 CLIP 原论文;训练数据规模属于文本编码器的来历,不是本页假预测实验的规模。
✅ 检查点
- 本页 SD-v1 文本接口输出一个向量还是一串?77 是否指 77 个词?为什么保留不同位置有用?
- 交叉注意力里 Q、K、V 各来自哪边?打分矩阵什么形状?是否每层都有、是否保证属性绝不串到别处?
- 标准 CFG 合成公式是什么?
s=1有无文本条件,s>1为什么叫外推?负面词替换的是哪一份预测? - 大 s 可能伴随哪些问题,哪一类不能看单张图判断?本页随机实验真正测到了什么?
- 标准 CFG 需要多少预测工作?合批省不掉什么?为什么不能把所有模型的 guidance 参数都按两份预测计费?
👀 答案
- 本页使用 77×768 的 token 级隐藏状态,77 包括特殊与填充位置,不等于词数。不同图像位置可以取不同文本信息,但这不是所有条件接口必须使用序列的定理。
- Q 来自图像特征投影,K/V 来自文本隐藏状态的分别投影。每头为 (h·w)×77,完整为 B×heads×(h·w)×77。在选定模块中使用,不是每层都有,也不保证“红色”只影响帽子。
ε = ε_uncond + s·(ε_cond−ε_uncond);s=1 是条件预测,没有额外外推。s>1 时无条件项系数为负,若两份预测不同便越过条件点。负面词通常替换基线分支,成为ε_neg+s·(ε_pos−ε_neg),不再是严格无条件,也不是逻辑 NOT。- 可能有过饱和、结构或纹理伪影、多样性下降;最后一项需要比较多个样本。本页只测假预测的数值:s=7.5 时范数为参考 16 的 2.95 倍、70 个分量绝对值超过 3。没有生成图片,3 也不是模型硬边界。
- 每个需要标准双分支 CFG 的状态有两份预测工作,可分开调用或合批。合批可改善调度、访存和利用率,但不消除第二份网络计算;耗时不保证恰好翻倍。蒸馏 guidance 条件嵌入与显式 CFG 是不同实现,须查模型和管线。
本节回顾
现在你可以把三件事分开:文本怎样进入网络、标准 CFG 怎样组合预测、当前模型是否真的执行这条双分支公式。
要查提示词长度与局部关联,回看前两节;要查 s 的数值与计时口径,回看第三至五节。出现颜色、纹理或多样性问题时,先在同一组种子下与已记录的基准比较,不把所有问题都归因于一个滑块。
⚡ 走神救援
先记住这几件事
- 文本条件在选定模块中影响去噪;不是每层都做交叉注意力。
- 标准 CFG 需要训练好的 null 分支,s=1 仍是有条件预测。
- 随机向量表只证明本例数值变化,画质与多样性要另做图像对照。
- 同名 guidance 不保证同一算法,先核对模型版本与管线。
上一节:05 · Latent Diffusion | 下一节:07 · 去噪主干:U-Net 与 DiT