🏠 总目录📚 本教程 09 · 怎么评估 ← →

扩散模型 / 09

一张图看着像、一个分数更高,怎样才算有效证据?

将FID定义/样本量与矩盲点、CLIPScore、人评与评估尺子失效分开检查。

📑 本页目录(点开跳转)

09 · 怎么评估:FID 与 CLIP Score

⏱ 38 分钟 | ⭐ 两个几乎每篇论文都在报的数字,以及它们各自看不见什么


🎯 一句话

FID 量「这一批图整体像不像真图」,CLIP Score 量「这一张图对不对得上提示词」;构图、手指、小字和审美可能影响这些分数,但两个分数都不是这些维度的专门判据。

前面几章讲的全是怎么把图生成出来。这一章讲最后一件事:生成出来之后,你凭什么说这一版比上一版好。


📏 一、FID 到底在算什么

FID(Fréchet Inception Distance)分三步:

  1. 把真图和生成图都送进同一个 Inception 网络,取倒数第二层的输出 —— 每张图变成一个 2048 维向量。
  2. 真图那一堆向量当成一个高斯分布(均值 $\mu_r$、协方差 $\Sigma_r$),生成图那一堆当成另一个($\mu_g,\Sigma_g$)。
  3. 算这两个高斯之间的 Fréchet 距离:

$$\mathrm{FID}=\lVert\mu_r-\mu_g\rVert^2+\mathrm{Tr}\!\left(\Sigma_r+\Sigma_g-2\left(\Sigma_r\Sigma_g\right)^{1/2}\right)$$

⭐ 人话翻译:第一项是「两堆点的中心差多远」,第二项是「两堆点的形状(往哪些方向散、散多开)差多少」。总体距离为 0 对应两边均值和协方差相同。按同一评测协议比较时通常越小越好,但不能推出原始图像分布完全相同。

⚠️ 注意这里的措辞:FID 从头到尾只用了均值和协方差。它把两堆图各压成了「一个中心 + 一个椭球」,除此之外的一切信息都被丢掉了。这一句是下面四个坑的共同来源。

两阶矩相同,分布也一定相同吗? 一维手工总体反例:等概率取正负1的离散分布与标准高斯分布,均值都为0,方差都为1,因此两者高斯拟合间的总体Frechet矩距离为0,但原分布不同。该示意没有图像、Inception网络或实际图像FID测量。有限样本的距离估计通常不为零。 两阶矩相同,分布也一定相同吗? 一维总体分布的反例;手工构造,不是图像质量实验分布 A:等概率取 −1、+1均值 0;方差 1-2-1012分布 B:标准高斯 N(0,1)均值 0;方差 1-2-1012½½两者高斯拟合相同 → 总体 Fréchet 矩距离 = 0原分布仍不同:一个只有两个取值,一个连续。FID 比较特征均值与协方差;有限样本估计通常不恰为 0。不能从“距离小”直接推出逐张图像合格。
上面两种一维总体分布都满足均值 0、方差 1,因而高斯拟合间的总体 Fréchet 矩距离为 0,但原分布不同。这是手工数学示意,不是实际图像 FID;有限样本估计通常不恰为 0。

🕳️ 二、坑①:它对样本量极敏感(这一条可以直接跑出来)

下面这段用两组来自同一个分布的随机特征算 Fréchet 距离。既然是同一个分布,理论上答案该是 0:

# 09 章:Fréchet 距离对样本量有多敏感
import numpy as np

def frechet(a, b):
    """两堆特征各当成一个高斯,算它们之间的 Fréchet 距离(FID 的算法本体)"""
    mu1, mu2 = a.mean(0), b.mean(0)
    s1, s2 = np.cov(a, rowvar=False), np.cov(b, rowvar=False)
    d = mu1 - mu2
    w, v = np.linalg.eigh(s1)                       # ⭐ 用对称形式算 (S1·S2)^{1/2} 的迹,避开复数
    s1h = (v * np.sqrt(np.clip(w, 0, None))) @ v.T
    ev = np.linalg.eigvalsh(s1h @ s2 @ s1h)
    return float(d @ d + np.trace(s1) + np.trace(s2)
                 - 2 * np.sqrt(np.clip(ev, 0, None)).sum())

rng = np.random.default_rng(0)
D = 64
print("A. 两组样本来自【同一个分布】,理论上 FID 应该是 0")
for n in [100, 500, 1000, 2000, 5000, 10000, 50000]:
    print("   n =%6d   FID = %7.3f"
          % (n, frechet(rng.standard_normal((n, D)), rng.standard_normal((n, D)))))

n = 20000
print("\nB. n=20000 时:")
print("   同一分布(基线)              FID = %.4f"
      % frechet(rng.standard_normal((n, D)), rng.standard_normal((n, D))))
print("   高斯 vs 每维只取 +1/-1        FID = %.4f"
      % frechet(rng.standard_normal((n, D)), rng.choice([-1.0, 1.0], size=(n, D))))

实测输出:

Fréchet 距离的两个盲点

这是 64 维合成特征实验,没有图像或 Inception 网络。它验证两阶矩比较的局限,不给出真实图像质量分数。

A · 两组都来自同一个标准高斯分布(总体距离为 0)

每组样本数 n 样本估计的距离
100 21.422
500 4.346
1000 2.129
2000 1.098
5000 0.446
10000 0.214
50000 0.044

B · 每组 n=20000,分布形状不同也可能得分接近

两组样本来自哪里 样本估计的距离
同一高斯分布(基线) 0.1088
高斯 vs 每维只取 +1/−1 0.1127

A 段先看两个数:同分布的总体距离是 0,有限样本估计却在 n=100 时为 21.422、n=10000 时为 0.214。这里没有生成图,差异来自样本统计量的估计。

样本增加通常改善估计,但单次随机结果不保证单调下降;本例接近“误差随样本量增加而减小”,不是适用于所有分布的固定倍率公式。

比较时至少固定样本量、特征网络、参考集和预处理。 50000 张是一种常见设置,10000 张不是普适的有效/无效分界;样本少时还要报告重复抽样的波动。

有限样本 FID 存在与模型有关的偏差,固定样本量也不能自动消除它。不能说“少抽样本只会变大、绝不变小”。依据:有限样本 FID 偏差研究。

B 段是坑③:右边那组每一维只取 +1 或 −1 —— 一个长在 64 维超立方体顶点上的分布,和高斯形状完全不同;它们的总体均值都是 0、协方差都是 I,有限样本统计量并不完全相同。结果 FID 是 0.1127,而同一个分布的基线是 0.1088。⭐ 总体两阶矩相同的不同分布,会有相同的总体 Fréchet 距离;样本估计只是很接近 —— 因为 FID 只看均值和协方差,它在设计上就看不见别的。

💀 落到图上就是:只要整批图的特征分布对得上,每一张单独看都很怪(六根手指、糊掉的招牌字)也能拿到漂亮的 FID。FID 从来不评价任何一张图。


🕳️ 三、另外两个坑

坑②:它依赖那个特征提取网络。 FID 里的「Inception」不是修饰词,是尺子本身。换一个骨干(CLIP 特征、DINOv2 特征),甚至换一个 Inception 的权重版本,分数就变,排名也可能跟着变。⭐ 换句话说,FID 测的其实是「在 Inception 眼里像不像」,而 Inception 是拿 ImageNet 分类训出来的 —— 这些分类特征不是为精确检查文字、手指或版式而设计。

坑④:跨论文不可比。 上面两条叠加,再加上大家的预处理不一致:resize 到 299 用的插值方式(双线性 / 双三次 / Lanczos)、要不要中心裁剪、JPEG 压缩质量、真图那一侧用的是训练集还是验证集。这些每一样都能动几个点。

⭐ 判据:论文表格里的 FID,只有在同一行实验设置下才有意义。看到别人报的 FID,先找三件事:样本量多少、真图那一侧是什么、预处理怎么做的。找不到 → 那个数字只能当广告看。


🧲 四、CLIP Score:另一个方向的一半

FID 完全不看提示词。CLIP Score 补的就是这一半:把图过 CLIP 的图像编码器、提示词过文本编码器,对归一化后的两个向量算余弦相似度,作为匹配代理。常见实现为 100×max(cos,0);原始 CLIPScore 论文采用 2.5×max(cos,0),因此报告时需写清编码器与缩放,不能混比绝对数。CLIPScore 原论文给出其定义与适用边界。

CLIP Score 是整体图文相似度,不能保证关系、数量或属性绑定正确,也不是完整画质评分。 例如内容大体像“戴帽子的猫”的图片,仍可能在手指、文字或构图上失败。要检查这些要求,需增加针对该维度的任务或人工检查,不能把一个余弦分数读作“内容全部正确”。

CFG 改变的可能是多个指标之间的取舍。 在某些模型和区间里,加强引导能提高图文匹配,同时损害多样性或画面质量;CLIP Score 并不保证随 CFG 一路单调上升。固定模型和提示词,实际画出 FID–CLIP 对照,再结合图像检查选择强度。


⚖️ 五、人评怎么做才不浪费

先把在乎的质量写成清楚的任务与判据。 审美、整体偏好适合补充人工判断;文字、计数或布局还可用相应自动检查,但也要验证检查器。人评同样会有偏差,下面三点帮助让偏好比较更可靠。

⚠️ 还有一条容易被忽略:人评同样受样本量限制。例如把 30 个独立成对结果暂当作二项胜负观测,胜率约 50% 时,标准误差约 9.1 个百分点,粗略 95% 区间宽达 ±18 个百分点;不足以据此确认 3 个点的小优势。重复提示词或共享评委带来的相关性还要另算。


🔭 六、最要紧的一条:尺子本身也会坏

站内《数据这一关》第 13 章把这件事说成一句话:评测集是你唯一的尺子,而尺子本身也是一份数据 —— 它会被抽错、被污染、被磨损。 这条判据在这里一字不改地成立,而且加倍成立,因为 FID 和 CLIP Score 都不是你的目标,只是代理。

⭐ 磨损是最容易忽略的一种坏法。那一章跑过一个实验:从一堆真实水平几乎一样的候选里,每次挑评测分最高的那个 —— 试过 200 个候选之后,被选中模型在该教学实验设置下的分数平均虚高约 4.5 个百分点,而普通、未校正选择过程的置信区间不会自动反映这项偏差(置信区间只管抽样误差,不管选择偏差)。你每天拿 FID 挑 checkpoint、挑调度器、挑 CFG,干的正是这件事。

⭐ 对策便宜到没有借口不做:把评测提示词集切成 dev 和 test。dev 随便调随便看;test 设置访问配额并记录用途;例如每季度三次可以是一条团队约定,不是统计学定律。

还要定期检查代理指标与真实目标是否仍同向。 可以先画“FID 变化与人评变化”的散点,并追查具体冲突案例;少数点只适合初步诊断,观察不到相关性可能也来自估计噪声或样本不足。扩大样本并量化不确定性后,再决定是否更换指标。


🔗 这一章连到哪里

去哪 为什么
数据这一关 13 · 评测集也是数据 ⭐ 本节那条「尺子本身也会坏」的完整版,也是全站评测方法论的总入口。80 分钟,里面有本章用到的那个磨损实验(试 200 个候选虚高 4.5pp)、分层抽样把长尾层的置信区间从 ±12.59pp 收到 ±6.89pp 的对照表、四种查污染的办法,以及一次「FID 涨了却没用」的同类事故复盘(NDCG 从 0.712 跳到 0.781,灰度后满意度纹丝不动)
大模型全景导论 11 · 评测体系 对照“报告条件不对等”的通用陷阱:提示词、采样次数与取值方式、模型参数是否一致。样本量要结合目标差距、方差与配对设计计算,不能把“100 题/700 题”当成所有任务的分辨率定律。
大模型全景导论 11b · 私有评测集怎么建 怎么建自己那把尺子的入门版:从真实失败里捞 20–50 个案例、分维度打标签、按「能写代码判 / 判不了但有标准 / 主观」三档定评分方式。⚠️ 它点名的三个错误本章全会撞上:只放难题(分数全挤在一起)、只放当前模型答错的(换模型就失效)、不分维度只看总分
模型上线之后 15 · 长期效应与代理指标 对照代理指标与真实目标的偏离,学习怎样定期回验指标链。该章的数值门槛、事故与检查周期属于其教学案例或团队约定,不是跨任务通用的统计定律。

✅ 检查点

  1. FID 计算时,每张图被压成了多少维的向量?这个向量来自哪个网络?
  2. FID 公式里的两项各自在量什么?
  3. 两组样本来自同一个分布时,FID 的理论值是多少?实测 n=100 和 n=10000 分别算出多少?
  4. 为什么说「每一张图都很怪」和「FID 很好看」可以同时成立?B 段那个实验怎么证明这一点?
  5. CLIP Score 高,能说明图好看吗?把 CFG 拉高会让这两个指标各自往哪走?
  6. 人评为什么要用成对比较而不是 1–5 打分?
  7. 什么叫评测集「磨损」?一个便宜的对策是什么?
👀 答案
  1. 2048 维,来自 Inception 网络倒数第二层。⭐ 所以 FID 测的是「在 Inception 眼里像不像」,而 Inception 是 ImageNet 分类模型,这些分类特征不是文字、手指或布局的专门检查器,不能说完全不敏感。
  2. 第一项 $\lVert\mu_r-\mu_g\rVert^2$ 量两堆特征的中心差多远;第二项那个迹量两堆的形状(往哪些方向散、散多开)差多少。⭐ 除了均值和协方差,别的信息一概没用上。
  3. 同分布的总体距离是 0;这次合成特征实验 n=100 为 21.422,n=10000 为 0.214。有限样本有估计误差和偏差,但单次结果不保证随样本量单调变化。
  4. 因为 FID 只比较两个分布的均值和协方差,从不评价任何单张图。B 段:右边那组每维只取 +1/−1(长在超立方体顶点上),和高斯形状完全不同但两阶矩一模一样 —— 算出 0.1127,而同一分布的基线是 0.1088,两次样本估计接近,但不能据此说它们严格相等或已完成显著性检验。
  5. 不能。 CLIP Score 是图文匹配的代理指标,不是完整画质评分。调高 CFG 可能在匹配、多样性和质量之间产生取舍,具体变化必须实测,不能假定两个指标单调变化。
  6. 因为 1–5 的绝对刻度在人和人之间不可比,而且同一个人的刻度会随看过的图漂移。成对比较只要求排序,再用 Elo / Bradley–Terry 汇总。另外两条同样是硬要求:盲评 + 左右顺序随机,题目集固定且来自真实请求。
  7. 反复依据同一评测集选模型,可能把评测噪声也选进去。相关教学实验的 4.5 个百分点只对应其设置,不是偏差下限。分开 dev/test,限制并记录 test 的使用;普通置信区间不会自动校正模型选择偏差。

本节回顾

读到这里,你已经能看懂论文表格里那两列数字在说什么、以及它们各自漏掉了什么,也能给自己那套图搭一个不至于骗自己的评测流程:固定的提示词集 + 盲评成对比较 + FID/CLIP 只当粗筛 + dev/test 分开。

什么时候回来:看到别人报的 FID 想判断能不能信时,回看第二、三节那三个要先问的问题(样本量、真图那一侧、预处理);发现「指标一直在涨、图看着没变好」时,回看第六节 —— 那基本就是尺子磨损或者代理失效。

⚡ 走神救援

先记住这几件事

下一节 👉 附录A-速查.md

打卡记录保存在你的浏览器里,首页能看到总进度