扩散模型 / 09
一张图看着像、一个分数更高,怎样才算有效证据?
将FID定义/样本量与矩盲点、CLIPScore、人评与评估尺子失效分开检查。
📑 本页目录(点开跳转)
09 · 怎么评估:FID 与 CLIP Score
⏱ 38 分钟 | ⭐ 两个几乎每篇论文都在报的数字,以及它们各自看不见什么
🎯 一句话
FID 量「这一批图整体像不像真图」,CLIP Score 量「这一张图对不对得上提示词」;构图、手指、小字和审美可能影响这些分数,但两个分数都不是这些维度的专门判据。
前面几章讲的全是怎么把图生成出来。这一章讲最后一件事:生成出来之后,你凭什么说这一版比上一版好。
📏 一、FID 到底在算什么
FID(Fréchet Inception Distance)分三步:
- 把真图和生成图都送进同一个 Inception 网络,取倒数第二层的输出 —— 每张图变成一个 2048 维向量。
- 真图那一堆向量当成一个高斯分布(均值 $\mu_r$、协方差 $\Sigma_r$),生成图那一堆当成另一个($\mu_g,\Sigma_g$)。
- 算这两个高斯之间的 Fréchet 距离:
$$\mathrm{FID}=\lVert\mu_r-\mu_g\rVert^2+\mathrm{Tr}\!\left(\Sigma_r+\Sigma_g-2\left(\Sigma_r\Sigma_g\right)^{1/2}\right)$$
⭐ 人话翻译:第一项是「两堆点的中心差多远」,第二项是「两堆点的形状(往哪些方向散、散多开)差多少」。总体距离为 0 对应两边均值和协方差相同。按同一评测协议比较时通常越小越好,但不能推出原始图像分布完全相同。
⚠️ 注意这里的措辞:FID 从头到尾只用了均值和协方差。它把两堆图各压成了「一个中心 + 一个椭球」,除此之外的一切信息都被丢掉了。这一句是下面四个坑的共同来源。
🕳️ 二、坑①:它对样本量极敏感(这一条可以直接跑出来)
下面这段用两组来自同一个分布的随机特征算 Fréchet 距离。既然是同一个分布,理论上答案该是 0:
# 09 章:Fréchet 距离对样本量有多敏感
import numpy as np
def frechet(a, b):
"""两堆特征各当成一个高斯,算它们之间的 Fréchet 距离(FID 的算法本体)"""
mu1, mu2 = a.mean(0), b.mean(0)
s1, s2 = np.cov(a, rowvar=False), np.cov(b, rowvar=False)
d = mu1 - mu2
w, v = np.linalg.eigh(s1) # ⭐ 用对称形式算 (S1·S2)^{1/2} 的迹,避开复数
s1h = (v * np.sqrt(np.clip(w, 0, None))) @ v.T
ev = np.linalg.eigvalsh(s1h @ s2 @ s1h)
return float(d @ d + np.trace(s1) + np.trace(s2)
- 2 * np.sqrt(np.clip(ev, 0, None)).sum())
rng = np.random.default_rng(0)
D = 64
print("A. 两组样本来自【同一个分布】,理论上 FID 应该是 0")
for n in [100, 500, 1000, 2000, 5000, 10000, 50000]:
print(" n =%6d FID = %7.3f"
% (n, frechet(rng.standard_normal((n, D)), rng.standard_normal((n, D)))))
n = 20000
print("\nB. n=20000 时:")
print(" 同一分布(基线) FID = %.4f"
% frechet(rng.standard_normal((n, D)), rng.standard_normal((n, D))))
print(" 高斯 vs 每维只取 +1/-1 FID = %.4f"
% frechet(rng.standard_normal((n, D)), rng.choice([-1.0, 1.0], size=(n, D))))
实测输出:
Fréchet 距离的两个盲点
这是 64 维合成特征实验,没有图像或 Inception 网络。它验证两阶矩比较的局限,不给出真实图像质量分数。
A · 两组都来自同一个标准高斯分布(总体距离为 0)
| 每组样本数 n | 样本估计的距离 |
|---|---|
| 100 | 21.422 |
| 500 | 4.346 |
| 1000 | 2.129 |
| 2000 | 1.098 |
| 5000 | 0.446 |
| 10000 | 0.214 |
| 50000 | 0.044 |
B · 每组 n=20000,分布形状不同也可能得分接近
| 两组样本来自哪里 | 样本估计的距离 |
|---|---|
| 同一高斯分布(基线) | 0.1088 |
| 高斯 vs 每维只取 +1/−1 | 0.1127 |
A 段先看两个数:同分布的总体距离是 0,有限样本估计却在 n=100 时为 21.422、n=10000 时为 0.214。这里没有生成图,差异来自样本统计量的估计。
样本增加通常改善估计,但单次随机结果不保证单调下降;本例接近“误差随样本量增加而减小”,不是适用于所有分布的固定倍率公式。
比较时至少固定样本量、特征网络、参考集和预处理。 50000 张是一种常见设置,10000 张不是普适的有效/无效分界;样本少时还要报告重复抽样的波动。
有限样本 FID 存在与模型有关的偏差,固定样本量也不能自动消除它。不能说“少抽样本只会变大、绝不变小”。依据:有限样本 FID 偏差研究。
B 段是坑③:右边那组每一维只取 +1 或 −1 —— 一个长在 64 维超立方体顶点上的分布,和高斯形状完全不同;它们的总体均值都是 0、协方差都是 I,有限样本统计量并不完全相同。结果 FID 是 0.1127,而同一个分布的基线是 0.1088。⭐ 总体两阶矩相同的不同分布,会有相同的总体 Fréchet 距离;样本估计只是很接近 —— 因为 FID 只看均值和协方差,它在设计上就看不见别的。
💀 落到图上就是:只要整批图的特征分布对得上,每一张单独看都很怪(六根手指、糊掉的招牌字)也能拿到漂亮的 FID。FID 从来不评价任何一张图。
🕳️ 三、另外两个坑
坑②:它依赖那个特征提取网络。 FID 里的「Inception」不是修饰词,是尺子本身。换一个骨干(CLIP 特征、DINOv2 特征),甚至换一个 Inception 的权重版本,分数就变,排名也可能跟着变。⭐ 换句话说,FID 测的其实是「在 Inception 眼里像不像」,而 Inception 是拿 ImageNet 分类训出来的 —— 这些分类特征不是为精确检查文字、手指或版式而设计。
坑④:跨论文不可比。 上面两条叠加,再加上大家的预处理不一致:resize 到 299 用的插值方式(双线性 / 双三次 / Lanczos)、要不要中心裁剪、JPEG 压缩质量、真图那一侧用的是训练集还是验证集。这些每一样都能动几个点。
⭐ 判据:论文表格里的 FID,只有在同一行实验设置下才有意义。看到别人报的 FID,先找三件事:样本量多少、真图那一侧是什么、预处理怎么做的。找不到 → 那个数字只能当广告看。
🧲 四、CLIP Score:另一个方向的一半
FID 完全不看提示词。CLIP Score 补的就是这一半:把图过 CLIP 的图像编码器、提示词过文本编码器,对归一化后的两个向量算余弦相似度,作为匹配代理。常见实现为 100×max(cos,0);原始 CLIPScore 论文采用 2.5×max(cos,0),因此报告时需写清编码器与缩放,不能混比绝对数。CLIPScore 原论文给出其定义与适用边界。
CLIP Score 是整体图文相似度,不能保证关系、数量或属性绑定正确,也不是完整画质评分。 例如内容大体像“戴帽子的猫”的图片,仍可能在手指、文字或构图上失败。要检查这些要求,需增加针对该维度的任务或人工检查,不能把一个余弦分数读作“内容全部正确”。
CFG 改变的可能是多个指标之间的取舍。 在某些模型和区间里,加强引导能提高图文匹配,同时损害多样性或画面质量;CLIP Score 并不保证随 CFG 一路单调上升。固定模型和提示词,实际画出 FID–CLIP 对照,再结合图像检查选择强度。
⚖️ 五、人评怎么做才不浪费
先把在乎的质量写成清楚的任务与判据。 审美、整体偏好适合补充人工判断;文字、计数或布局还可用相应自动检查,但也要验证检查器。人评同样会有偏差,下面三点帮助让偏好比较更可靠。
- 整体偏好可先用成对比较。 把“更符合提示词”和“更好看”分开问,允许平局或都不合格。成对结果可用 Bradley–Terry 等模型汇总;有明确锚点的分项打分也可用。应记录评委一致性与不确定性,不把排序自动当成客观真值。
- ⭐ 必须盲评。 不告诉评委哪张来自哪个模型,并且左右顺序随机 —— 否则位置偏好和品牌预期会盖过真实差距。
- ⭐ 题目集要固定,而且来自真实用法。 每次评测用同一批提示词,否则你比的是提示词不是模型;优先覆盖实际请求,并可补充有明确目的的诊断题;写清各类占比,避免只放规整题或只放困难题。
⚠️ 还有一条容易被忽略:人评同样受样本量限制。例如把 30 个独立成对结果暂当作二项胜负观测,胜率约 50% 时,标准误差约 9.1 个百分点,粗略 95% 区间宽达 ±18 个百分点;不足以据此确认 3 个点的小优势。重复提示词或共享评委带来的相关性还要另算。
🔭 六、最要紧的一条:尺子本身也会坏
站内《数据这一关》第 13 章把这件事说成一句话:评测集是你唯一的尺子,而尺子本身也是一份数据 —— 它会被抽错、被污染、被磨损。 这条判据在这里一字不改地成立,而且加倍成立,因为 FID 和 CLIP Score 都不是你的目标,只是代理。
⭐ 磨损是最容易忽略的一种坏法。那一章跑过一个实验:从一堆真实水平几乎一样的候选里,每次挑评测分最高的那个 —— 试过 200 个候选之后,被选中模型在该教学实验设置下的分数平均虚高约 4.5 个百分点,而普通、未校正选择过程的置信区间不会自动反映这项偏差(置信区间只管抽样误差,不管选择偏差)。你每天拿 FID 挑 checkpoint、挑调度器、挑 CFG,干的正是这件事。
⭐ 对策便宜到没有借口不做:把评测提示词集切成 dev 和 test。dev 随便调随便看;test 设置访问配额并记录用途;例如每季度三次可以是一条团队约定,不是统计学定律。
还要定期检查代理指标与真实目标是否仍同向。 可以先画“FID 变化与人评变化”的散点,并追查具体冲突案例;少数点只适合初步诊断,观察不到相关性可能也来自估计噪声或样本不足。扩大样本并量化不确定性后,再决定是否更换指标。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 数据这一关 13 · 评测集也是数据 | ⭐ 本节那条「尺子本身也会坏」的完整版,也是全站评测方法论的总入口。80 分钟,里面有本章用到的那个磨损实验(试 200 个候选虚高 4.5pp)、分层抽样把长尾层的置信区间从 ±12.59pp 收到 ±6.89pp 的对照表、四种查污染的办法,以及一次「FID 涨了却没用」的同类事故复盘(NDCG 从 0.712 跳到 0.781,灰度后满意度纹丝不动) |
| 大模型全景导论 11 · 评测体系 | 对照“报告条件不对等”的通用陷阱:提示词、采样次数与取值方式、模型参数是否一致。样本量要结合目标差距、方差与配对设计计算,不能把“100 题/700 题”当成所有任务的分辨率定律。 |
| 大模型全景导论 11b · 私有评测集怎么建 | 怎么建自己那把尺子的入门版:从真实失败里捞 20–50 个案例、分维度打标签、按「能写代码判 / 判不了但有标准 / 主观」三档定评分方式。⚠️ 它点名的三个错误本章全会撞上:只放难题(分数全挤在一起)、只放当前模型答错的(换模型就失效)、不分维度只看总分 |
| 模型上线之后 15 · 长期效应与代理指标 | 对照代理指标与真实目标的偏离,学习怎样定期回验指标链。该章的数值门槛、事故与检查周期属于其教学案例或团队约定,不是跨任务通用的统计定律。 |
✅ 检查点
- FID 计算时,每张图被压成了多少维的向量?这个向量来自哪个网络?
- FID 公式里的两项各自在量什么?
- 两组样本来自同一个分布时,FID 的理论值是多少?实测 n=100 和 n=10000 分别算出多少?
- 为什么说「每一张图都很怪」和「FID 很好看」可以同时成立?B 段那个实验怎么证明这一点?
- CLIP Score 高,能说明图好看吗?把 CFG 拉高会让这两个指标各自往哪走?
- 人评为什么要用成对比较而不是 1–5 打分?
- 什么叫评测集「磨损」?一个便宜的对策是什么?
👀 答案
- 2048 维,来自 Inception 网络倒数第二层。⭐ 所以 FID 测的是「在 Inception 眼里像不像」,而 Inception 是 ImageNet 分类模型,这些分类特征不是文字、手指或布局的专门检查器,不能说完全不敏感。
- 第一项 $\lVert\mu_r-\mu_g\rVert^2$ 量两堆特征的中心差多远;第二项那个迹量两堆的形状(往哪些方向散、散多开)差多少。⭐ 除了均值和协方差,别的信息一概没用上。
- 同分布的总体距离是 0;这次合成特征实验 n=100 为 21.422,n=10000 为 0.214。有限样本有估计误差和偏差,但单次结果不保证随样本量单调变化。
- 因为 FID 只比较两个分布的均值和协方差,从不评价任何单张图。B 段:右边那组每维只取 +1/−1(长在超立方体顶点上),和高斯形状完全不同但两阶矩一模一样 —— 算出 0.1127,而同一分布的基线是 0.1088,两次样本估计接近,但不能据此说它们严格相等或已完成显著性检验。
- 不能。 CLIP Score 是图文匹配的代理指标,不是完整画质评分。调高 CFG 可能在匹配、多样性和质量之间产生取舍,具体变化必须实测,不能假定两个指标单调变化。
- 因为 1–5 的绝对刻度在人和人之间不可比,而且同一个人的刻度会随看过的图漂移。成对比较只要求排序,再用 Elo / Bradley–Terry 汇总。另外两条同样是硬要求:盲评 + 左右顺序随机,题目集固定且来自真实请求。
- 反复依据同一评测集选模型,可能把评测噪声也选进去。相关教学实验的 4.5 个百分点只对应其设置,不是偏差下限。分开 dev/test,限制并记录 test 的使用;普通置信区间不会自动校正模型选择偏差。
本节回顾
读到这里,你已经能看懂论文表格里那两列数字在说什么、以及它们各自漏掉了什么,也能给自己那套图搭一个不至于骗自己的评测流程:固定的提示词集 + 盲评成对比较 + FID/CLIP 只当粗筛 + dev/test 分开。
什么时候回来:看到别人报的 FID 想判断能不能信时,回看第二、三节那三个要先问的问题(样本量、真图那一侧、预处理);发现「指标一直在涨、图看着没变好」时,回看第六节 —— 那基本就是尺子磨损或者代理失效。
⚡ 走神救援
先记住这几件事
- FID 比较特征分布,CLIP Score 衡量图文匹配,两者都不是完整的画质判据。
- 样本量、特征网络和预处理必须一致,才能合理比较指标。
- 固定开发与测试提示词,结合盲评和具体失败案例,防止反复挑选造成评测过拟合。
下一节 👉 附录A-速查.md