🏠 总目录📚 本教程 知识蒸馏 ← →

AI基础设施 · 18b

学生跟着软标签学,到底多学了哪种信息?

软标签、特征和注意力提供不同的学习信号。温度、损失缩放与对应维度的条件,决定老师与学生究竟在比较什么。

读完能判断:区分温度软化、logit/特征/注意力对齐及蒸馏目标。

📑 本页目录(点开跳转)

18b · 知识蒸馏

⏱ 68 分钟 | ⭐ 用老师的行为训练学生,再验证省下了什么、损失了什么


🎯 一句话

蒸馏让学生模型学习老师的输出或中间表示;学生可以更小,但也可能与老师同样大。

如果你的目标是部署一个更轻的模型,要同时看任务质量、实际速度和训练成本。不能先保证“近乎无损”,再只挑支持这个说法的指标。

本章先用软标签、温度与损失解释蒸馏原理,再看LLM 做法、分组验收与成本算账。


🧩 一、先把压缩三件套摆清楚

量化、剪枝与蒸馏能组合,但效果不独立,不保证相乘得到最终收益。

用一个 FP16、形状为 [4096, 4096] 的 Linear 权重做示意:

方法 改哪里 示例
量化 数值的表示方式 同一形状,从每权重 16 bit 变成 4 bit
非结构化剪枝 保留哪些连接 同一形状,假设 90% 权重置零
结构化剪枝 删除行、列、头或层等结构 某层变为 [4096, 2048],相邻层也要兼容
蒸馏 学生的训练信号 用老师监督一个 16 层、宽 2048 的学生,而非直接复制老师的 32 层、宽 4096

量化后的恢复训练、剪枝后的微调也能针对任务优化。蒸馏不是唯一能“更适合任务”的方法;它的特点是利用老师提供的监督,可以改变学生架构或把集成压到单模型。

例如“结构化剪枝 → 蒸馏恢复 → INT4 量化”是可测试的组合。顺序会影响结果,每一步都应复测。量化改变数值表示,剪枝改变保留的连接或结构,蒸馏改变学生训练时收到的监督。投机解码则改变生成时的提议与验证流程。即使用蒸馏训练草稿模型,保持目标分布的条件也来自验证算法。

对照表:先看清代价再选

方法 可能省什么 训练与数据需求 最容易误判的地方
量化 权重存储与部分搬运 PTQ 不更新权重,部分方案需要校准;QAT 需要训练 不是所有算子和硬件都加速,质量也可能下降
非结构化剪枝 稀疏表示下的存储和运算 可用恢复训练,取决于方案 在普通稠密存储中写 0,并不会自动省空间或时间
结构化剪枝 参数与部分计算量 常需微调或蒸馏恢复,但并非定义上必须 形状变小不保证端到端变快,仍看实现
蒸馏 更轻学生的部署成本 需要学生训练;可用现有、合成或混合数据 学生不一定更小、更快,也没有固定压缩比或掉点范围

怎样读“压缩比”? 单看权重位宽,FP16→INT8 是 2 倍、FP16→INT4 是 4 倍;实际文件还含缩放参数等信息,运行显存还含激活与缓存。

稀疏度 50–90%、结构缩小 1.5–3 倍、学生参数少 3–10 倍,都可以是实验目标,不是这些方法自带的典型保证。也不能预先承诺“量化几小时,蒸馏一定几周最贵”。


🌡️ 二、蒸馏的机制:软标签里的"暗知识"

硬标签和软目标分别告诉学生什么

假设要把一台能分辨图片的大模型换成轻量版本。一张图的真实类别是猫。如果训练数据只写「猫」,小模型看不出另一种动物和汽车为什么应该得到不同分数。已经训练好的模型可以为这张图提供整组判断。

同一张图片,两个学习信号

固定的教师模型给出整组分数把分数转成软目标
真实类别为猫保留硬标签
两路分别算损失合起来更新学生

知识蒸馏(Knowledge Distillation,KD)用一个教师模型(Teacher Model)提供额外监督,让学生模型(Student Model)学习它的部分行为。本例两边看同一张图,类别顺序都是猫、虎、车。训练时固定教师的参数,损失只用于更新学生。

硬标签(Hard Label)可以写成 [1, 0, 0]。教师的软目标(Soft Target)则给每类一个概率,三项加起来等于 1。它还能表达教师对其他类的相对判断,这些信息常被称为暗知识。比如教师给虎的概率比车高,只说明它对这张图的判断。Hinton 等人的原论文。

概率之外,模型常先输出未归一化分数(Logits)。下面用自然对数 ln 给出分数,方便手算:ln 4 约为 1.386,指数函数把它变回 4。本例分数均为教学设定。

同一张图的分数和标签
类别教师分数学生分数硬标签
猫ln 16ln 41
虎ln 400
车000

从存储角度,硬标签只需一个类别索引。对等概率的 C 个类别,标签熵为 log₂ C,即用以 2 为底的对数衡量平均不确定性。比如 C = 5 时约为 2.3 bit。软目标多存了一组数值,监督价值还取决于教师质量、数据分布及有限精度。

温度 T:同一组分数怎样变成不同概率

只看最高分会丢掉其他类的差异。温度(Temperature)T 是归一化前共同使用的正数。设 zi 是第 i 类的 logit,j 遍历全部类别。先将每个分数除以 T,再取指数,最后除以所有指数值之和。这就是带温度的 Softmax。

$$p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$

先算 T = 1。 教师取指数后得到 [16, 4, 1],总和 21,逐项除以 21 得 [16/21, 4/21, 1/21]。学生取指数后是 [4, 1, 1],总和 6,逐项除以 6 得 [4/6, 1/6, 1/6]。

再用 T = 2。 指数运算满足 exp((ln 16) ÷ 2) = √16 = 4。教师的指数值变为 [4, 2, 1],和是 7。学生变为 [2, 1, 1],和是 4。各自再除以自己的和,得到下面两列软分布。

同温比较。右两列用于下面的软损失。
类别教师 T=1教师 T=2学生 T=2
猫16/214/72/4
虎4/212/71/4
车1/211/71/4

温度从 1 提到 2 时,教师的猫类概率从约 76.2% 降到 57.1%,其余两类的份额提高。固定分数时,有限的正温度保留类别排序。温度越高分布越平,越接近 0 分布越尖。直接除以温度的是分数,概率需要重新归一化。

温度趋于无穷时,概率分布趋于均匀。高温下乘上 T² 的训练损失仍可保留中心化分数的差异。词表大小无法单独决定合适的温度,1、2、4 等都可以作为验证集上的候选。

软损失、T² 缩放和硬损失怎样合起来

表中的学生给车分配了 1/4,教师只给 1/7。需要一个数汇总整张表的偏差,才能让训练知道要往哪个方向改。令 pi 是教师在 T 下的概率,qi 是学生在同一温度下的概率。KL 散度(Kullback–Leibler Divergence)在这里用教师的概率加权每类的对数比例:

$$\mathrm{KL}(p\|q) = \sum_i p_i \ln\frac{p_i}{q_i}$$

T=2,逐类代入教师 → 学生的 KL(自然对数)
类别p / q加权项
猫(4/7) ÷ (2/4) = 8/7(4/7) × ln(8/7) ≈ 0.076304
虎(2/7) ÷ (1/4) = 8/7(2/7) × ln(8/7) ≈ 0.038152
车(1/7) ÷ (1/4) = 4/7(1/7) × ln(4/7) ≈ −0.079945

三项相加得到约 0.034510。单项可以为负,整项 KL 非负。交换方向会改成按学生概率加权,代入同一组数得到约 0.039755,表示另一个训练目标。极端例子是教师 (0.5, 0.5)、学生 (1, 0):正向 KL 发散,反向 KL 为 ln 2,也就是 1 比特。详见数学原理 01b。

把真实答案也留进损失。 记 y 为真实类别猫。硬标签交叉熵(Cross-Entropy,CE)是学生在 T = 1 时给真类的概率取负自然对数。这里是 −ln(4/6) ≈ 0.405465。软损失用 T = 2,先乘 T²,得 2² × 0.034510 ≈ 0.138041。

$$\begin{aligned} \mathcal{L} ={}& \alpha T^2\mathrm{KL}(p\|q) \\ &+ (1-\alpha)\mathrm{CE}(z^{s}, y) \end{aligned}$$

式中的 L 是学生这一样本的总损失,zs 是学生原始 logits,α 在 0 到 1 之间,控制软项的权重。取 α = 0.5,完整代入为 0.5 × (2² × 0.034510…) + (1 − 0.5) × 0.405465… ≈ 0.271753。训练时用该损失的梯度更新学生。部署本例时只用学生做分类,可取最高分,或用 T = 1 转成概率。训练时的温度负责构造监督,服务若另设校准或采样温度,需按部署目标验证。

为什么乘 T²? 高温下,学生分数对软损失的梯度包含两次近似缩小:除以温度带来一个 1/T,教师与学生概率差也大约按 1/T 缩小。乘上 T² 让软项梯度在高温近似下维持量级。有限温度下概率差与方向仍会变,权重和温度要一起验证。

固定教师时,KL(p‖q) = H(p,q) − H(p),其中 H(p,q) 是软目标交叉熵,H(p) 是教师分布的熵。最后一项对学生是常数,所以同温同归约下,优化软交叉熵也能得到同样的学生梯度,两种损失的读数相差教师熵。PyTorch 的 kl_div 第一个参数放学生的 log_softmax,第二个参数放教师概率,使用 batchmean 时对样本取平均。见 PyTorch 蒸馏教程与 KLDivLoss 文档。

用 Python 标准库复算刚才的三类例子。函数 softmax 接受给定分数与正温度,返回归一化后的概率。teacher_soft 和 student_soft 用同一个温度,硬项单独从 temperature=1 的学生分布取猫类概率。这个程序只算一次损失,不包含训练循环。

from math import exp, log

def softmax(logits, temperature):
    weights = [exp(score / temperature) for score in logits]
    total = sum(weights)
    return [weight / total for weight in weights]

teacher = [log(16), log(4), 0]
student = [log(4), 0, 0]
temperature, alpha, cat = 2, 0.5, 0

teacher_soft = softmax(teacher, temperature)
student_soft = softmax(student, temperature)
kl = sum(p * log(p / q) for p, q in zip(teacher_soft, student_soft))
hard = -log(softmax(student, temperature=1)[cat])
total = alpha * temperature**2 * kl + (1 - alpha) * hard
print(f"KL={kl:.6f}, 硬 CE={hard:.6f}, 总损失={total:.6f}")

输出为 KL=0.034510, 硬 CE=0.405465, 总损失=0.271753。接着可用旧的五类实验观察温度对梯度的影响。

📐 为什么恰好是 T²(想看再点)

在下列推导里,向量 $z$ 是学生 logits,向量 $t$ 是教师 logits,$i$ 是类别下标,$\sigma$ 表示 Softmax。教师固定时,KL 项对学生 logit $z_i$ 的梯度是

$$\frac{\partial}{\partial z_i}\mathrm{KL} = \frac{1}{T}\Big(\sigma(z/T)_i - \sigma(t/T)_i\Big)$$

前面那个 $\frac{1}{T}$ 来自链式法则(softmax 的输入被除了 T)。

当 T 相对 logits 的差异足够大时,对 $\sigma(z/T)_i$ 做一阶展开(设 logits 零均值、类数 C):

$$\sigma(z/T)_i \approx \frac{1}{C} + \frac{z_i}{C\,T}$$

代回去:

$$\frac{\partial}{\partial z_i}\mathrm{KL} \approx \frac{1}{T}\cdot\frac{z_i - t_i}{C\,T} = \frac{z_i - t_i}{C\,T^2}$$

这里是高温近似,不是任意 T 的精确等式。 乘上 $T^2$ 可以补偿这种近似尺度变化,但有限 T 下,概率差本身也会变化;软损失梯度不一定保持不变。

这也是为什么不能把改温度精确等同于改学习率:更新方向、硬软损失的相对贡献与概率分布都可能改变。

下面的梯度实验需安装 PyTorch,使用另一组固定的五类 logits,以便观察更多温度点。每次从同一个 student0 开始,比较乘 T² 前后的软损失与梯度范数。结果表是解析复算值。

import torch
import torch.nn.functional as F

teacher  = torch.tensor([[6.0, 4.0, 0.5, 0.2, -1.0]])
student0 = torch.tensor([[7.233, 3.765, -1.243, 0.655, -1.868]])   # 人工设定:用于观察梯度,不是模型训练记录

def soft_loss_and_grad(T, scale):
    s = student0.clone().requires_grad_(True)
    loss = F.kl_div(F.log_softmax(s / T, dim=-1),          # 学生用 log_softmax
                    F.softmax(teacher / T, dim=-1),        # teacher 用 softmax
                    reduction="batchmean")
    if scale:
        loss = loss * T * T                                # ⭐ T² 缩放就这一行
    loss.backward()
    return loss.item(), s.grad.norm().item()

print(f"{'T':<5}{'loss(raw)':>12}{'|grad|raw':>12}{'loss(xT2)':>12}{'|grad|xT2':>12}")
for T in [1.0, 2.0, 4.0, 8.0, 16.0]:
    l1, g1 = soft_loss_and_grad(T, scale=False)
    l2, g2 = soft_loss_and_grad(T, scale=True)
    print(f"{T:<5}{l1:>12.6f}{g1:>12.6f}{l2:>12.6f}{g2:>12.6f}")

按相同输入、自然对数和解析梯度独立复核的结果如下,保留六位;PyTorch 浮点计算的末位可能略有不同。本表不是一次模型训练的性能报告。

T loss(raw) 梯度范数 raw loss × T² 梯度范数 × T²
1 0.086523 0.128606 0.086523 0.128606
2 0.073163 0.090825 0.292653 0.363300
4 0.030429 0.030393 0.486863 0.486289
8 0.008474 0.007677 0.542351 0.491297
16 0.002127 0.001868 0.544590 0.478162

看最后一列: T=4、8、16 时大约为 0.49、0.49、0.48,较稳定;但 T=1 和 T=2 明显不同,这正好说明近似有适用范围。

不乘 T² 时,从 T=2 到 T=8,梯度范数在这个例子里约缩小 11.8 倍,不是固定 16 倍。出现训练问题仍要检查数据、损失权重与实现,不能一概归因于这一个系数。


🧬 三、蒸馏做在哪一层:logit / 特征 / 注意力

不只最终输出可以作为监督,但中间信号需要明确对应关系。

可选择的蒸馏对齐信号 teacher(大) student(小) Embedding Embedding 表示蒸馏 Layer 4 Layer 2 特征蒸馏 隐状态 MSE,维度不同要加投影 注意力蒸馏 attention map 对齐 Layer 12 Layer 6 特征蒸馏 ⚠️ 哪层配哪层是【你定的超参】 Logits Logits logit 蒸馏 KL + 温度,需对齐输出
沿横向连线看老师和学生的哪一处被比较。不同信号可以组合,但层、头、位置与维度要能对应;图中配层只是示例,不是必选方案。
层次 学什么 代表工作 主要检查
logit 蒸馏 输出分布 Hinton KD 输出类别、位置和概率含义是否对齐
特征蒸馏 中间表示 FitNets / TinyBERT 配层方式;维度不同时可用投影,不能直接做逐元素 MSE
注意力蒸馏 注意力或相关结构 TinyBERT / MiniLM 头、位置或关系怎样匹配,依具体损失而定
关系蒸馏 样本或表示之间的关系 RKD / MiniLM 的 value-relation 可避免部分逐元素维度约束,但不保证结构差异下最稳

中间层监督可能有帮助,也可能增加对齐负担。一个清晰的起点是先做适合任务的输出蒸馏基线,再逐项加监督做消融;不能预先保证“只提升 0.5 个点”或“一定花两周”。


蒸馏原理回顾:老师可提供输出分布或中间表示。温度改变概率分布的平滑程度,T² 是近似尺度补偿。


🤖 四、LLM 时代的蒸馏

基本思想仍是利用老师监督学生。下面按四个常见视角介绍,它们并非互斥类别。

① Token 级蒸馏(word-level KD)

在每个位置比较输出分布。 最直接的逐 token KL 要求两边词表索引含义一致、序列位置和条件上下文对应。

相同 tokenizer 是一种简化条件,但不能代替所有对齐检查。跨词表蒸馏需要额外映射或其他目标,不能把不同位置的 logits 直接相减。

输出分布提供了比单个采样 token 更丰富的监督,但数据质量、计算与学生容量都会影响收益;它并非必然效果最好。

② 序列级蒸馏(SeqKD)

老师生成完整答案,学生用这些答案做监督训练。 数据可离线生成和复用,学生可以使用不同 tokenizer;老师也可通过符合要求的 API 提供输出。

生成答案可以来自采样、贪心或 beam search。不能把它统一称为老师的“真实众数序列”:beam search 通常也是近似搜索。

与逐 token 分布相比,它少保存了候选概率,但也减少了分布对齐和存储负担。两者可比较,而不是只按“信号强弱”排固定名次。Sequence-Level Knowledge Distillation 原论文。

③ 数据蒸馏 —— ⚠️ 这里有法务问题

这里指用模型生成、筛选或改写训练数据,不等同于将一个大数据集优化成极小合成数据集的 dataset distillation。它可以包含序列级蒸馏。

立项前需要留下三个检查结果:

  1. 数据由哪个模型、版本、服务和提示生成?是否可追溯?
  2. 当前适用许可或条款是否允许计划中的训练、分发和服务用途?
  3. 数据是否含敏感信息或受限制内容?谁负责进一步审核?

不能用“绝大多数 API 都禁止”替代逐项核对,也不能断言发现问题后“只能扔掉、无法补救”。具体处理要依据适用条款与授权;这里不作法律结论。

④ 自蒸馏(self-distillation)

老师和学生可以同架构,甚至来自同一训练过程的不同状态;蒸馏并不必然意味着变小。Born Again Neural Networks就是同尺寸学生的研究例子。

用法 想解决什么 边界
Born-again 用已训练模型监督新的同尺寸模型 可能改善泛化,不保证每次提升
上下文蒸馏 把某些提示诱导的行为学习进权重 可减少部分提示依赖,不保证完整替代所有上下文
推理链压缩 用长推理示范训练更短的输出 短输出是否保持正确性需要评测
对齐行为迁移 将对齐后老师的行为传给另一模型 学生若更小或不同,属于一般蒸馏,不必称自蒸馏

💀 五、一个事故复盘

事故一:整体掉 1 个点,某个人群掉 15 个点

这是教学假设,不是有出处的真实事故。 下面用人工构造的分组结果,说明为何不能只看总体 accuracy。

设一个客服分类任务,老师与学生可分别为 7B、1.3B;但参数规模不参与下面的统计计算,也不能由它推出掉点幅度。

10,000 个样本中,老师答对 9,335 个,学生答对 9,232 个:总体准确率 93.35% → 92.32%,下降 1.03 个百分点。其中占 1% 的长尾 D,准确率却是 85% → 70%。

这段保留的程序构造了这些结果;最后的 assert 预期会报错,用于演示分组门槛如何阻塞发布。−3pp 只是例子中的策略,不是普适阈值。

from collections import defaultdict

def stratified_report(rows, groups):
    """rows: (分组, teacher是否正确, student是否正确) 的列表"""
    n, t, s = defaultdict(int), defaultdict(int), defaultdict(int)
    for g, ok_t, ok_s in rows:
        n[g] += 1; t[g] += ok_t; s[g] += ok_s
    N = sum(n.values())
    T, S = sum(t.values()) / N, sum(s.values()) / N
    print(f"{'分组':<10}{'样本数':>8}{'teacher':>10}{'student':>10}{'Δ(pp)':>9}")
    print(f"{'全体':<10}{N:>8}{T:>10.3f}{S:>10.3f}{(S - T) * 100:>+9.2f}")
    worst = None
    for g in groups:
        d = (s[g] / n[g] - t[g] / n[g]) * 100      # ⭐ 每个分组【单独】算 Δ
        print(f"{g:<10}{n[g]:>8}{t[g]/n[g]:>10.3f}{s[g]/n[g]:>10.3f}{d:>+9.2f}")
        if worst is None or d < worst[1]:
            worst = (g, d)
    print(f"\n最差分组: {worst[0]}  Δ={worst[1]:+.2f}pp   (全体只有 {(S-T)*100:+.2f}pp)")
    return worst

groups = ["主力人群", "次要A", "次要B", "长尾C", "长尾D"]
size   = [8000, 1200, 500, 200, 100]
acc_t  = [0.940, 0.920, 0.900, 0.880, 0.850]
acc_s  = [0.933, 0.915, 0.880, 0.800, 0.700]
rows = []
for g, n_, at, as_ in zip(groups, size, acc_t, acc_s):
    rows += [(g, 1 if i < round(n_ * at) else 0,
                 1 if i < round(n_ * as_) else 0) for i in range(n_)]

worst = stratified_report(rows, groups)
assert worst[1] > -3.0, f"⭐ 分组 {worst[0]} 掉了 {worst[1]:.1f}pp,阻塞上线"

对应结果:

总体下降较小,仍可能遮住关键分组

人工构造的分组结果,不是模型实测性能
分组样本数teacher 准确率student 准确率差距(百分点)
全体10,00093.35%92.32%−1.03
主力人群8,00094.0%93.3%−0.70
次要 A1,20092.0%91.5%−0.50
次要 B50090.0%88.0%−2.00
长尾 C20088.0%80.0%−8.00
长尾 D10085.0%70.0%−15.00

长尾 D 的下降对总体只贡献 1% × 15 = 0.15 个百分点,但对该组用户并不小。

这个例子能证明什么? 总体平均会弱化小群体的变化,应该分组验收。

不能证明什么? 它没有老师 logits、真实训练过程或业务日志,不能证明“软标签在长尾天然没信息”“蒸馏必然伤害长尾”,也不能推出转人工率翻三倍、SLA 违约两周或节约了 40% 费用。

高熵输出有时表达有效的不确定性,低熵输出也可能自信地错。先找有独立标签的样本,核对教师在什么条件下容易错,再决定怎样利用它的输出。

遇到质量下降,先区分这三种原因

教师判断有误。 如果前面的图片实际是虎,教师在 T=2 时仍给猫 4/7、虎 2/7。学生若完全匹配这组软目标,KL 可以为 0,但最高分还是猫。可靠的硬标签提供不同的监督方向。

学生输入或容量不够。 如果学生的低分辨率输入让两张真实类别不同的图变成同一个表示,同一个确定性学生就只能给它们同一组概率,无法同时复制两组不同的教师判断。

部署分布变了。 蒸馏数据若主要是清晰白天图片,夜间或遮挡图的质量要单独检查。提高温度只调整当前样本的类别概率,填补场景缺口仍需合适的数据与独立评测。

检查方向 实际做什么
独立评测 保留未参与学生拟合和选参的样本,去重并核对标签来源
分组验收 预先定义关键人群、样本量和可接受下降,报告不确定性
长尾补救 分别测试可靠硬标签、采样权重或老师兜底,比较改善与代价
老师质量 人工或其他可靠方式核验其错误和不确定样本,检查是否被学生继承

同分布、正确隔离的随机留出集可以检验同分布泛化;需要预测未来或新来源时,再增加时间/来源留出。不是所有评测都必须另换来源。


🧭 六、怎么决策:什么时候值得蒸馏

决策表

你的目标 可以比较的起点
减少显存,不想更新权重 在目标硬件测试 PTQ;先确认质量和 kernel 支持
希望换成明显更轻的模型 比较现成小模型、任务微调、蒸馏或结构剪枝
窄任务需要定制行为 比较真实标签训练与老师监督,保留老师作基线
更换 tokenizer 或架构 序列级蒸馏是较直接路径;其他对齐方法需额外设计
硬件支持特定稀疏格式 评估匹配格式的稀疏化及其真实加速
质量必须满足严格约束 先定验收标准;量化、剪枝与蒸馏都不能先保证无损

蒸馏既能做任务专精,也可训练通用学生或压缩集成。它不是窄任务上的唯一赢家,也不是通用模型的“最差选择”。

学生可能在某项评测超过教师。用独立任务集和同预算基线判断提升,另测未参与训练的通用能力与关键分组。

部署时,用同一硬件、推理引擎、精度与输入输出长度分布对照教师、未蒸馏学生和蒸馏学生。分类任务在同一批量下记录分类延迟、每秒处理图片数与峰值显存。生成式服务在同一到达负载下记录首 token 时间(TTFT)、首 token 后平均每输出一个 token 的时间(TPOT)、达标吞吐与峰值显存。学生参数较少只减少部分负担,算子支持、缓存及批处理都会影响实际速度。见第 20 章的服务验收口径。

⚠️ 蒸馏的成本:这笔账常被低估

先把 2.8 倍放回它的假设里。 以下仅是同 token 数、相近架构、每一步都在线跑老师的粗略计算量估计。

以 1.3B 学生的一次前向为 1 单位,并假设前向成本正比于参数量:

项目 假设计算量
学生前向 + 反向 约 3
7B 老师前向 7 / 1.3 ≈ 5.38
在线蒸馏合计 约 8.38
与只训练学生相比 8.38 / 3 ≈ 2.79 倍

在这组假设下,老师约占 64.2% 计算量;不是任何蒸馏都比从零训练贵 2.8 倍。真实 token 数、训练轮数、架构、缓存与利用率可能不同,也不能把计算量比例直接等同墙钟时间或账单。

离线缓存的账另算。 假设每个位置只存 top-50,每项用 4 字节数值 + 4 字节索引:

数量 未压缩的缓存预算
每 token 50 × 8 = 400 字节
100B token 40 TB
1T token 400 TB

这里 B 表示十亿、T 表示万亿,TB 按十进制;还没包含元数据。词表 128k 不直接出现在这条 top-50 存储式里;存完整词表会更多。

可以比较更小的 top-k(如 5–20)、较低数值精度、分片重算或只存生成序列。截断 top-k 已不是完整分布,需要决定剩余概率质量如何处理;不能截完不管归一化就叫完整 KL。

只存文本或 token ID 通常少很多,但压缩倍数受编码和数据组成影响。离线缓存减少重复老师计算,也会增加生成、读写与存储成本。

回本怎么估? 先算新增训练、数据、评测和部署的一次性成本,再除以每月净节约;只有净节约为正时,这个回本月数才有意义。不能把“每月省 40%”和“三个月工程量”直接相除,见成本与容量。

⚠️ 评估:绝不能在蒸馏数据上评

标题里的“不能”指:不能用学生训练集上的分数,替代独立的泛化验收。 训练集指标仍可用于调试与检查是否学会拟合。

还要分清两种目标:

预留未用于训练和调参的测试样本,核对去重与污染;再按目标场景做时间、来源或关键人群验证。另建包含老师已知错误的诊断集,报告它与代表性测试集的区别,不能混成一个总体成功率。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 18 章 位宽与数值误差;组合蒸馏后仍须重新验证
第 18c 章 结构与稀疏化,蒸馏可作为恢复训练的一种方式
第 19 章 正确校正的标准采样方案保持目标分布;蒸馏不保证与老师完全相同
推荐算法 18 精排到粗排的排序蒸馏场景
全景导论 06 部署侧的质量、速度与成本取舍
模型上线 02 总体指标与局部质量的差别,本章用假设分组演示
全景导论 05 小模型定制路径,本章继续解释机制与验收
模型上线 18 用同一货币和时间口径计算净节约
Kaggle 03 老师可以是集成,学生用于降低部署复杂度;不是所有竞赛都必须这样收尾

✅ 检查点

  1. 量化、剪枝和蒸馏各改什么?为什么能组合却不代表收益独立?
  2. 三类图例里教师与学生各提供什么?硬标签和软目标各告诉了你什么?
  3. 教师 logits 是 ln 16、ln 4、0。取 T=2 时,怎样一步步得到三个软目标?
  4. 软 KL 的哪一侧负责加权?将算例的 α 改成 0.25,其他不变,总损失约是多少?
  5. T² 补偿什么?当教师把真实类别为虎的图片判成猫时,KL 为 0 能说明什么?
  6. 四类对齐信号各需检查什么?
  7. Token 级与序列级有什么不同?生成答案一定是众数序列吗?
  8. 合成数据训练立项前需留下哪些来源与授权记录?
  9. 分组例子证明了什么,没证明什么?
  10. 2.79 倍与 400 TB 分别用了哪些假设?
  11. 蒸馏只适合窄任务吗?怎样判断是否值得?
  12. 训练集指标、老师一致性和真实任务质量如何区分?
👀 答案
  1. 位宽、结构/连接、训练监督分别是主要切入点。它们会相互影响,组合后仍需测质量、文件、显存和速度。
  2. 教师给出整组类别概率作为额外监督。学生给出自身预测供损失比较。硬标签指定真实类别,软目标还表达教师对非目标类别的相对判断。
  3. 分数除以 2 再取指数得 4、2、1,总和 7。分别除以 7 得 4/7、2/7、1/7。
  4. 教师概率加权。软项约 0.138041,硬项约 0.405465,计算 0.25 × 0.138041… + 0.75 × 0.405465… ≈ 0.338609。
  5. 在分数差异相对 T 小时,梯度近似按 1/T² 缩小。有限 T 下乘回 T² 后仍可能变化。KL 为 0 说明分布匹配,学生也可能复现教师的错误。
  6. 输出需对齐类别与条件;特征需配层和维度处理;注意力需匹配头、位置或关系;关系蒸馏也有定义与实现边界。
  7. Token 级比较对齐位置的分布;序列级学习生成答案,可跨 tokenizer。采样、贪心、beam search 均不保证找到真实最高概率序列。
  8. 模型和版本、生成时间与提示、适用许可/条款、预期用途、数据来源与审核记录。不能用泛化断言替代具体核对。
  9. 人工构造结果证明总体平均会遮住小组下降;没有证明蒸馏必然伤害长尾、老师熵就是原因或发生过某起业务事故。
  10. 2.79 倍假设相同 token 预算、前向随参数量线性及在线老师;400 TB 假设 1T token、每项 8 字节的 top-50 缓存,不含额外开销。
  11. 不是。它可用于通用、专用或同尺寸学生。与合适基线同预算比较,任务和分群达标后,再算总成本和净节约。
  12. 训练集指标可调试,不能代替泛化验收;与老师一致也不等于真实正确。独立样本与可靠答案缺一不可。

本节回顾

⚡ 走神救援

回来时先接上这四点

下一节 👉 18c-剪枝与稀疏化.md

打卡记录保存在你的浏览器里,首页能看到总进度