AI基础设施 · 18b
学生跟着软标签学,到底多学了哪种信息?
软标签、特征和注意力提供不同的学习信号。温度、损失缩放与对应维度的条件,决定老师与学生究竟在比较什么。
读完能判断:区分温度软化、logit/特征/注意力对齐及蒸馏目标。
📑 本页目录(点开跳转)
18b · 知识蒸馏
⏱ 68 分钟 | ⭐ 用老师的行为训练学生,再验证省下了什么、损失了什么
🎯 一句话
蒸馏让学生模型学习老师的输出或中间表示;学生可以更小,但也可能与老师同样大。
如果你的目标是部署一个更轻的模型,要同时看任务质量、实际速度和训练成本。不能先保证“近乎无损”,再只挑支持这个说法的指标。
本章先用软标签、温度与损失解释蒸馏原理,再看LLM 做法、分组验收与成本算账。
🧩 一、先把压缩三件套摆清楚
量化、剪枝与蒸馏能组合,但效果不独立,不保证相乘得到最终收益。
用一个 FP16、形状为 [4096, 4096] 的 Linear 权重做示意:
| 方法 | 改哪里 | 示例 |
|---|---|---|
| 量化 | 数值的表示方式 | 同一形状,从每权重 16 bit 变成 4 bit |
| 非结构化剪枝 | 保留哪些连接 | 同一形状,假设 90% 权重置零 |
| 结构化剪枝 | 删除行、列、头或层等结构 | 某层变为 [4096, 2048],相邻层也要兼容 |
| 蒸馏 | 学生的训练信号 | 用老师监督一个 16 层、宽 2048 的学生,而非直接复制老师的 32 层、宽 4096 |
量化后的恢复训练、剪枝后的微调也能针对任务优化。蒸馏不是唯一能“更适合任务”的方法;它的特点是利用老师提供的监督,可以改变学生架构或把集成压到单模型。
例如“结构化剪枝 → 蒸馏恢复 → INT4 量化”是可测试的组合。顺序会影响结果,每一步都应复测。量化改变数值表示,剪枝改变保留的连接或结构,蒸馏改变学生训练时收到的监督。投机解码则改变生成时的提议与验证流程。即使用蒸馏训练草稿模型,保持目标分布的条件也来自验证算法。
对照表:先看清代价再选
| 方法 | 可能省什么 | 训练与数据需求 | 最容易误判的地方 |
|---|---|---|---|
| 量化 | 权重存储与部分搬运 | PTQ 不更新权重,部分方案需要校准;QAT 需要训练 | 不是所有算子和硬件都加速,质量也可能下降 |
| 非结构化剪枝 | 稀疏表示下的存储和运算 | 可用恢复训练,取决于方案 | 在普通稠密存储中写 0,并不会自动省空间或时间 |
| 结构化剪枝 | 参数与部分计算量 | 常需微调或蒸馏恢复,但并非定义上必须 | 形状变小不保证端到端变快,仍看实现 |
| 蒸馏 | 更轻学生的部署成本 | 需要学生训练;可用现有、合成或混合数据 | 学生不一定更小、更快,也没有固定压缩比或掉点范围 |
怎样读“压缩比”? 单看权重位宽,FP16→INT8 是 2 倍、FP16→INT4 是 4 倍;实际文件还含缩放参数等信息,运行显存还含激活与缓存。
稀疏度 50–90%、结构缩小 1.5–3 倍、学生参数少 3–10 倍,都可以是实验目标,不是这些方法自带的典型保证。也不能预先承诺“量化几小时,蒸馏一定几周最贵”。
🌡️ 二、蒸馏的机制:软标签里的"暗知识"
硬标签和软目标分别告诉学生什么
假设要把一台能分辨图片的大模型换成轻量版本。一张图的真实类别是猫。如果训练数据只写「猫」,小模型看不出另一种动物和汽车为什么应该得到不同分数。已经训练好的模型可以为这张图提供整组判断。
同一张图片,两个学习信号
知识蒸馏(Knowledge Distillation,KD)用一个教师模型(Teacher Model)提供额外监督,让学生模型(Student Model)学习它的部分行为。本例两边看同一张图,类别顺序都是猫、虎、车。训练时固定教师的参数,损失只用于更新学生。
硬标签(Hard Label)可以写成 [1, 0, 0]。教师的软目标(Soft Target)则给每类一个概率,三项加起来等于 1。它还能表达教师对其他类的相对判断,这些信息常被称为暗知识。比如教师给虎的概率比车高,只说明它对这张图的判断。Hinton 等人的原论文。
概率之外,模型常先输出未归一化分数(Logits)。下面用自然对数 ln 给出分数,方便手算:ln 4 约为 1.386,指数函数把它变回 4。本例分数均为教学设定。
| 类别 | 教师分数 | 学生分数 | 硬标签 |
|---|---|---|---|
| 猫 | ln 16 | ln 4 | 1 |
| 虎 | ln 4 | 0 | 0 |
| 车 | 0 | 0 | 0 |
从存储角度,硬标签只需一个类别索引。对等概率的 C 个类别,标签熵为 log₂ C,即用以 2 为底的对数衡量平均不确定性。比如 C = 5 时约为 2.3 bit。软目标多存了一组数值,监督价值还取决于教师质量、数据分布及有限精度。
温度 T:同一组分数怎样变成不同概率
只看最高分会丢掉其他类的差异。温度(Temperature)T 是归一化前共同使用的正数。设 zi 是第 i 类的 logit,j 遍历全部类别。先将每个分数除以 T,再取指数,最后除以所有指数值之和。这就是带温度的 Softmax。
$$p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$
先算 T = 1。 教师取指数后得到 [16, 4, 1],总和 21,逐项除以 21 得 [16/21, 4/21, 1/21]。学生取指数后是 [4, 1, 1],总和 6,逐项除以 6 得 [4/6, 1/6, 1/6]。
再用 T = 2。 指数运算满足 exp((ln 16) ÷ 2) = √16 = 4。教师的指数值变为 [4, 2, 1],和是 7。学生变为 [2, 1, 1],和是 4。各自再除以自己的和,得到下面两列软分布。
| 类别 | 教师 T=1 | 教师 T=2 | 学生 T=2 |
|---|---|---|---|
| 猫 | 16/21 | 4/7 | 2/4 |
| 虎 | 4/21 | 2/7 | 1/4 |
| 车 | 1/21 | 1/7 | 1/4 |
温度从 1 提到 2 时,教师的猫类概率从约 76.2% 降到 57.1%,其余两类的份额提高。固定分数时,有限的正温度保留类别排序。温度越高分布越平,越接近 0 分布越尖。直接除以温度的是分数,概率需要重新归一化。
温度趋于无穷时,概率分布趋于均匀。高温下乘上 T² 的训练损失仍可保留中心化分数的差异。词表大小无法单独决定合适的温度,1、2、4 等都可以作为验证集上的候选。
软损失、T² 缩放和硬损失怎样合起来
表中的学生给车分配了 1/4,教师只给 1/7。需要一个数汇总整张表的偏差,才能让训练知道要往哪个方向改。令 pi 是教师在 T 下的概率,qi 是学生在同一温度下的概率。KL 散度(Kullback–Leibler Divergence)在这里用教师的概率加权每类的对数比例:
$$\mathrm{KL}(p\|q) = \sum_i p_i \ln\frac{p_i}{q_i}$$
| 类别 | p / q | 加权项 |
|---|---|---|
| 猫 | (4/7) ÷ (2/4) = 8/7 | (4/7) × ln(8/7) ≈ 0.076304 |
| 虎 | (2/7) ÷ (1/4) = 8/7 | (2/7) × ln(8/7) ≈ 0.038152 |
| 车 | (1/7) ÷ (1/4) = 4/7 | (1/7) × ln(4/7) ≈ −0.079945 |
三项相加得到约 0.034510。单项可以为负,整项 KL 非负。交换方向会改成按学生概率加权,代入同一组数得到约 0.039755,表示另一个训练目标。极端例子是教师 (0.5, 0.5)、学生 (1, 0):正向 KL 发散,反向 KL 为 ln 2,也就是 1 比特。详见数学原理 01b。
把真实答案也留进损失。 记 y 为真实类别猫。硬标签交叉熵(Cross-Entropy,CE)是学生在 T = 1 时给真类的概率取负自然对数。这里是 −ln(4/6) ≈ 0.405465。软损失用 T = 2,先乘 T²,得 2² × 0.034510 ≈ 0.138041。
$$\begin{aligned} \mathcal{L} ={}& \alpha T^2\mathrm{KL}(p\|q) \\ &+ (1-\alpha)\mathrm{CE}(z^{s}, y) \end{aligned}$$
式中的 L 是学生这一样本的总损失,zs 是学生原始 logits,α 在 0 到 1 之间,控制软项的权重。取 α = 0.5,完整代入为 0.5 × (2² × 0.034510…) + (1 − 0.5) × 0.405465… ≈ 0.271753。训练时用该损失的梯度更新学生。部署本例时只用学生做分类,可取最高分,或用 T = 1 转成概率。训练时的温度负责构造监督,服务若另设校准或采样温度,需按部署目标验证。
为什么乘 T²? 高温下,学生分数对软损失的梯度包含两次近似缩小:除以温度带来一个 1/T,教师与学生概率差也大约按 1/T 缩小。乘上 T² 让软项梯度在高温近似下维持量级。有限温度下概率差与方向仍会变,权重和温度要一起验证。
固定教师时,KL(p‖q) = H(p,q) − H(p),其中 H(p,q) 是软目标交叉熵,H(p) 是教师分布的熵。最后一项对学生是常数,所以同温同归约下,优化软交叉熵也能得到同样的学生梯度,两种损失的读数相差教师熵。PyTorch 的 kl_div 第一个参数放学生的 log_softmax,第二个参数放教师概率,使用 batchmean 时对样本取平均。见 PyTorch 蒸馏教程与 KLDivLoss 文档。
用 Python 标准库复算刚才的三类例子。函数 softmax 接受给定分数与正温度,返回归一化后的概率。teacher_soft 和 student_soft 用同一个温度,硬项单独从 temperature=1 的学生分布取猫类概率。这个程序只算一次损失,不包含训练循环。
from math import exp, log
def softmax(logits, temperature):
weights = [exp(score / temperature) for score in logits]
total = sum(weights)
return [weight / total for weight in weights]
teacher = [log(16), log(4), 0]
student = [log(4), 0, 0]
temperature, alpha, cat = 2, 0.5, 0
teacher_soft = softmax(teacher, temperature)
student_soft = softmax(student, temperature)
kl = sum(p * log(p / q) for p, q in zip(teacher_soft, student_soft))
hard = -log(softmax(student, temperature=1)[cat])
total = alpha * temperature**2 * kl + (1 - alpha) * hard
print(f"KL={kl:.6f}, 硬 CE={hard:.6f}, 总损失={total:.6f}")
输出为 KL=0.034510, 硬 CE=0.405465, 总损失=0.271753。接着可用旧的五类实验观察温度对梯度的影响。
📐 为什么恰好是 T²(想看再点)
在下列推导里,向量 $z$ 是学生 logits,向量 $t$ 是教师 logits,$i$ 是类别下标,$\sigma$ 表示 Softmax。教师固定时,KL 项对学生 logit $z_i$ 的梯度是
$$\frac{\partial}{\partial z_i}\mathrm{KL} = \frac{1}{T}\Big(\sigma(z/T)_i - \sigma(t/T)_i\Big)$$
前面那个 $\frac{1}{T}$ 来自链式法则(softmax 的输入被除了 T)。
当 T 相对 logits 的差异足够大时,对 $\sigma(z/T)_i$ 做一阶展开(设 logits 零均值、类数 C):
$$\sigma(z/T)_i \approx \frac{1}{C} + \frac{z_i}{C\,T}$$
代回去:
$$\frac{\partial}{\partial z_i}\mathrm{KL} \approx \frac{1}{T}\cdot\frac{z_i - t_i}{C\,T} = \frac{z_i - t_i}{C\,T^2}$$
这里是高温近似,不是任意 T 的精确等式。 乘上 $T^2$ 可以补偿这种近似尺度变化,但有限 T 下,概率差本身也会变化;软损失梯度不一定保持不变。
这也是为什么不能把改温度精确等同于改学习率:更新方向、硬软损失的相对贡献与概率分布都可能改变。
下面的梯度实验需安装 PyTorch,使用另一组固定的五类 logits,以便观察更多温度点。每次从同一个 student0 开始,比较乘 T² 前后的软损失与梯度范数。结果表是解析复算值。
import torch
import torch.nn.functional as F
teacher = torch.tensor([[6.0, 4.0, 0.5, 0.2, -1.0]])
student0 = torch.tensor([[7.233, 3.765, -1.243, 0.655, -1.868]]) # 人工设定:用于观察梯度,不是模型训练记录
def soft_loss_and_grad(T, scale):
s = student0.clone().requires_grad_(True)
loss = F.kl_div(F.log_softmax(s / T, dim=-1), # 学生用 log_softmax
F.softmax(teacher / T, dim=-1), # teacher 用 softmax
reduction="batchmean")
if scale:
loss = loss * T * T # ⭐ T² 缩放就这一行
loss.backward()
return loss.item(), s.grad.norm().item()
print(f"{'T':<5}{'loss(raw)':>12}{'|grad|raw':>12}{'loss(xT2)':>12}{'|grad|xT2':>12}")
for T in [1.0, 2.0, 4.0, 8.0, 16.0]:
l1, g1 = soft_loss_and_grad(T, scale=False)
l2, g2 = soft_loss_and_grad(T, scale=True)
print(f"{T:<5}{l1:>12.6f}{g1:>12.6f}{l2:>12.6f}{g2:>12.6f}")
按相同输入、自然对数和解析梯度独立复核的结果如下,保留六位;PyTorch 浮点计算的末位可能略有不同。本表不是一次模型训练的性能报告。
| T | loss(raw) | 梯度范数 raw | loss × T² | 梯度范数 × T² |
|---|---|---|---|---|
| 1 | 0.086523 | 0.128606 | 0.086523 | 0.128606 |
| 2 | 0.073163 | 0.090825 | 0.292653 | 0.363300 |
| 4 | 0.030429 | 0.030393 | 0.486863 | 0.486289 |
| 8 | 0.008474 | 0.007677 | 0.542351 | 0.491297 |
| 16 | 0.002127 | 0.001868 | 0.544590 | 0.478162 |
看最后一列: T=4、8、16 时大约为 0.49、0.49、0.48,较稳定;但 T=1 和 T=2 明显不同,这正好说明近似有适用范围。
不乘 T² 时,从 T=2 到 T=8,梯度范数在这个例子里约缩小 11.8 倍,不是固定 16 倍。出现训练问题仍要检查数据、损失权重与实现,不能一概归因于这一个系数。
🧬 三、蒸馏做在哪一层:logit / 特征 / 注意力
不只最终输出可以作为监督,但中间信号需要明确对应关系。
| 层次 | 学什么 | 代表工作 | 主要检查 |
|---|---|---|---|
| logit 蒸馏 | 输出分布 | Hinton KD | 输出类别、位置和概率含义是否对齐 |
| 特征蒸馏 | 中间表示 | FitNets / TinyBERT | 配层方式;维度不同时可用投影,不能直接做逐元素 MSE |
| 注意力蒸馏 | 注意力或相关结构 | TinyBERT / MiniLM | 头、位置或关系怎样匹配,依具体损失而定 |
| 关系蒸馏 | 样本或表示之间的关系 | RKD / MiniLM 的 value-relation | 可避免部分逐元素维度约束,但不保证结构差异下最稳 |
中间层监督可能有帮助,也可能增加对齐负担。一个清晰的起点是先做适合任务的输出蒸馏基线,再逐项加监督做消融;不能预先保证“只提升 0.5 个点”或“一定花两周”。
蒸馏原理回顾:老师可提供输出分布或中间表示。温度改变概率分布的平滑程度,T² 是近似尺度补偿。
🤖 四、LLM 时代的蒸馏
基本思想仍是利用老师监督学生。下面按四个常见视角介绍,它们并非互斥类别。
① Token 级蒸馏(word-level KD)
在每个位置比较输出分布。 最直接的逐 token KL 要求两边词表索引含义一致、序列位置和条件上下文对应。
相同 tokenizer 是一种简化条件,但不能代替所有对齐检查。跨词表蒸馏需要额外映射或其他目标,不能把不同位置的 logits 直接相减。
输出分布提供了比单个采样 token 更丰富的监督,但数据质量、计算与学生容量都会影响收益;它并非必然效果最好。
② 序列级蒸馏(SeqKD)
老师生成完整答案,学生用这些答案做监督训练。 数据可离线生成和复用,学生可以使用不同 tokenizer;老师也可通过符合要求的 API 提供输出。
生成答案可以来自采样、贪心或 beam search。不能把它统一称为老师的“真实众数序列”:beam search 通常也是近似搜索。
与逐 token 分布相比,它少保存了候选概率,但也减少了分布对齐和存储负担。两者可比较,而不是只按“信号强弱”排固定名次。Sequence-Level Knowledge Distillation 原论文。
③ 数据蒸馏 —— ⚠️ 这里有法务问题
这里指用模型生成、筛选或改写训练数据,不等同于将一个大数据集优化成极小合成数据集的 dataset distillation。它可以包含序列级蒸馏。
立项前需要留下三个检查结果:
- 数据由哪个模型、版本、服务和提示生成?是否可追溯?
- 当前适用许可或条款是否允许计划中的训练、分发和服务用途?
- 数据是否含敏感信息或受限制内容?谁负责进一步审核?
不能用“绝大多数 API 都禁止”替代逐项核对,也不能断言发现问题后“只能扔掉、无法补救”。具体处理要依据适用条款与授权;这里不作法律结论。
④ 自蒸馏(self-distillation)
老师和学生可以同架构,甚至来自同一训练过程的不同状态;蒸馏并不必然意味着变小。Born Again Neural Networks就是同尺寸学生的研究例子。
| 用法 | 想解决什么 | 边界 |
|---|---|---|
| Born-again | 用已训练模型监督新的同尺寸模型 | 可能改善泛化,不保证每次提升 |
| 上下文蒸馏 | 把某些提示诱导的行为学习进权重 | 可减少部分提示依赖,不保证完整替代所有上下文 |
| 推理链压缩 | 用长推理示范训练更短的输出 | 短输出是否保持正确性需要评测 |
| 对齐行为迁移 | 将对齐后老师的行为传给另一模型 | 学生若更小或不同,属于一般蒸馏,不必称自蒸馏 |
💀 五、一个事故复盘
事故一:整体掉 1 个点,某个人群掉 15 个点
这是教学假设,不是有出处的真实事故。 下面用人工构造的分组结果,说明为何不能只看总体 accuracy。
设一个客服分类任务,老师与学生可分别为 7B、1.3B;但参数规模不参与下面的统计计算,也不能由它推出掉点幅度。
10,000 个样本中,老师答对 9,335 个,学生答对 9,232 个:总体准确率 93.35% → 92.32%,下降 1.03 个百分点。其中占 1% 的长尾 D,准确率却是 85% → 70%。
这段保留的程序构造了这些结果;最后的 assert 预期会报错,用于演示分组门槛如何阻塞发布。−3pp 只是例子中的策略,不是普适阈值。
from collections import defaultdict
def stratified_report(rows, groups):
"""rows: (分组, teacher是否正确, student是否正确) 的列表"""
n, t, s = defaultdict(int), defaultdict(int), defaultdict(int)
for g, ok_t, ok_s in rows:
n[g] += 1; t[g] += ok_t; s[g] += ok_s
N = sum(n.values())
T, S = sum(t.values()) / N, sum(s.values()) / N
print(f"{'分组':<10}{'样本数':>8}{'teacher':>10}{'student':>10}{'Δ(pp)':>9}")
print(f"{'全体':<10}{N:>8}{T:>10.3f}{S:>10.3f}{(S - T) * 100:>+9.2f}")
worst = None
for g in groups:
d = (s[g] / n[g] - t[g] / n[g]) * 100 # ⭐ 每个分组【单独】算 Δ
print(f"{g:<10}{n[g]:>8}{t[g]/n[g]:>10.3f}{s[g]/n[g]:>10.3f}{d:>+9.2f}")
if worst is None or d < worst[1]:
worst = (g, d)
print(f"\n最差分组: {worst[0]} Δ={worst[1]:+.2f}pp (全体只有 {(S-T)*100:+.2f}pp)")
return worst
groups = ["主力人群", "次要A", "次要B", "长尾C", "长尾D"]
size = [8000, 1200, 500, 200, 100]
acc_t = [0.940, 0.920, 0.900, 0.880, 0.850]
acc_s = [0.933, 0.915, 0.880, 0.800, 0.700]
rows = []
for g, n_, at, as_ in zip(groups, size, acc_t, acc_s):
rows += [(g, 1 if i < round(n_ * at) else 0,
1 if i < round(n_ * as_) else 0) for i in range(n_)]
worst = stratified_report(rows, groups)
assert worst[1] > -3.0, f"⭐ 分组 {worst[0]} 掉了 {worst[1]:.1f}pp,阻塞上线"
对应结果:
总体下降较小,仍可能遮住关键分组
| 分组 | 样本数 | teacher 准确率 | student 准确率 | 差距(百分点) |
|---|---|---|---|---|
| 全体 | 10,000 | 93.35% | 92.32% | −1.03 |
| 主力人群 | 8,000 | 94.0% | 93.3% | −0.70 |
| 次要 A | 1,200 | 92.0% | 91.5% | −0.50 |
| 次要 B | 500 | 90.0% | 88.0% | −2.00 |
| 长尾 C | 200 | 88.0% | 80.0% | −8.00 |
| 长尾 D | 100 | 85.0% | 70.0% | −15.00 |
长尾 D 的下降对总体只贡献 1% × 15 = 0.15 个百分点,但对该组用户并不小。
这个例子能证明什么? 总体平均会弱化小群体的变化,应该分组验收。
不能证明什么? 它没有老师 logits、真实训练过程或业务日志,不能证明“软标签在长尾天然没信息”“蒸馏必然伤害长尾”,也不能推出转人工率翻三倍、SLA 违约两周或节约了 40% 费用。
高熵输出有时表达有效的不确定性,低熵输出也可能自信地错。先找有独立标签的样本,核对教师在什么条件下容易错,再决定怎样利用它的输出。
遇到质量下降,先区分这三种原因
教师判断有误。 如果前面的图片实际是虎,教师在 T=2 时仍给猫 4/7、虎 2/7。学生若完全匹配这组软目标,KL 可以为 0,但最高分还是猫。可靠的硬标签提供不同的监督方向。
学生输入或容量不够。 如果学生的低分辨率输入让两张真实类别不同的图变成同一个表示,同一个确定性学生就只能给它们同一组概率,无法同时复制两组不同的教师判断。
部署分布变了。 蒸馏数据若主要是清晰白天图片,夜间或遮挡图的质量要单独检查。提高温度只调整当前样本的类别概率,填补场景缺口仍需合适的数据与独立评测。
| 检查方向 | 实际做什么 |
|---|---|
| 独立评测 | 保留未参与学生拟合和选参的样本,去重并核对标签来源 |
| 分组验收 | 预先定义关键人群、样本量和可接受下降,报告不确定性 |
| 长尾补救 | 分别测试可靠硬标签、采样权重或老师兜底,比较改善与代价 |
| 老师质量 | 人工或其他可靠方式核验其错误和不确定样本,检查是否被学生继承 |
同分布、正确隔离的随机留出集可以检验同分布泛化;需要预测未来或新来源时,再增加时间/来源留出。不是所有评测都必须另换来源。
🧭 六、怎么决策:什么时候值得蒸馏
决策表
| 你的目标 | 可以比较的起点 |
|---|---|
| 减少显存,不想更新权重 | 在目标硬件测试 PTQ;先确认质量和 kernel 支持 |
| 希望换成明显更轻的模型 | 比较现成小模型、任务微调、蒸馏或结构剪枝 |
| 窄任务需要定制行为 | 比较真实标签训练与老师监督,保留老师作基线 |
| 更换 tokenizer 或架构 | 序列级蒸馏是较直接路径;其他对齐方法需额外设计 |
| 硬件支持特定稀疏格式 | 评估匹配格式的稀疏化及其真实加速 |
| 质量必须满足严格约束 | 先定验收标准;量化、剪枝与蒸馏都不能先保证无损 |
蒸馏既能做任务专精,也可训练通用学生或压缩集成。它不是窄任务上的唯一赢家,也不是通用模型的“最差选择”。
学生可能在某项评测超过教师。用独立任务集和同预算基线判断提升,另测未参与训练的通用能力与关键分组。
部署时,用同一硬件、推理引擎、精度与输入输出长度分布对照教师、未蒸馏学生和蒸馏学生。分类任务在同一批量下记录分类延迟、每秒处理图片数与峰值显存。生成式服务在同一到达负载下记录首 token 时间(TTFT)、首 token 后平均每输出一个 token 的时间(TPOT)、达标吞吐与峰值显存。学生参数较少只减少部分负担,算子支持、缓存及批处理都会影响实际速度。见第 20 章的服务验收口径。
⚠️ 蒸馏的成本:这笔账常被低估
先把 2.8 倍放回它的假设里。 以下仅是同 token 数、相近架构、每一步都在线跑老师的粗略计算量估计。
以 1.3B 学生的一次前向为 1 单位,并假设前向成本正比于参数量:
| 项目 | 假设计算量 |
|---|---|
| 学生前向 + 反向 | 约 3 |
| 7B 老师前向 | 7 / 1.3 ≈ 5.38 |
| 在线蒸馏合计 | 约 8.38 |
| 与只训练学生相比 | 8.38 / 3 ≈ 2.79 倍 |
在这组假设下,老师约占 64.2% 计算量;不是任何蒸馏都比从零训练贵 2.8 倍。真实 token 数、训练轮数、架构、缓存与利用率可能不同,也不能把计算量比例直接等同墙钟时间或账单。
离线缓存的账另算。 假设每个位置只存 top-50,每项用 4 字节数值 + 4 字节索引:
| 数量 | 未压缩的缓存预算 |
|---|---|
| 每 token | 50 × 8 = 400 字节 |
| 100B token | 40 TB |
| 1T token | 400 TB |
这里 B 表示十亿、T 表示万亿,TB 按十进制;还没包含元数据。词表 128k 不直接出现在这条 top-50 存储式里;存完整词表会更多。
可以比较更小的 top-k(如 5–20)、较低数值精度、分片重算或只存生成序列。截断 top-k 已不是完整分布,需要决定剩余概率质量如何处理;不能截完不管归一化就叫完整 KL。
只存文本或 token ID 通常少很多,但压缩倍数受编码和数据组成影响。离线缓存减少重复老师计算,也会增加生成、读写与存储成本。
回本怎么估? 先算新增训练、数据、评测和部署的一次性成本,再除以每月净节约;只有净节约为正时,这个回本月数才有意义。不能把“每月省 40%”和“三个月工程量”直接相除,见成本与容量。
⚠️ 评估:绝不能在蒸馏数据上评
标题里的“不能”指:不能用学生训练集上的分数,替代独立的泛化验收。 训练集指标仍可用于调试与检查是否学会拟合。
还要分清两种目标:
- 老师一致性: 学生是否复现老师行为,可用老师输出对比。
- 真实任务质量: 学生是否答对,需要独立可靠的答案;老师的输出不自动是真值。
预留未用于训练和调参的测试样本,核对去重与污染;再按目标场景做时间、来源或关键人群验证。另建包含老师已知错误的诊断集,报告它与代表性测试集的区别,不能混成一个总体成功率。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 18 章 | 位宽与数值误差;组合蒸馏后仍须重新验证 |
| 第 18c 章 | 结构与稀疏化,蒸馏可作为恢复训练的一种方式 |
| 第 19 章 | 正确校正的标准采样方案保持目标分布;蒸馏不保证与老师完全相同 |
| 推荐算法 18 | 精排到粗排的排序蒸馏场景 |
| 全景导论 06 | 部署侧的质量、速度与成本取舍 |
| 模型上线 02 | 总体指标与局部质量的差别,本章用假设分组演示 |
| 全景导论 05 | 小模型定制路径,本章继续解释机制与验收 |
| 模型上线 18 | 用同一货币和时间口径计算净节约 |
| Kaggle 03 | 老师可以是集成,学生用于降低部署复杂度;不是所有竞赛都必须这样收尾 |
✅ 检查点
- 量化、剪枝和蒸馏各改什么?为什么能组合却不代表收益独立?
- 三类图例里教师与学生各提供什么?硬标签和软目标各告诉了你什么?
- 教师 logits 是 ln 16、ln 4、0。取 T=2 时,怎样一步步得到三个软目标?
- 软 KL 的哪一侧负责加权?将算例的 α 改成 0.25,其他不变,总损失约是多少?
- T² 补偿什么?当教师把真实类别为虎的图片判成猫时,KL 为 0 能说明什么?
- 四类对齐信号各需检查什么?
- Token 级与序列级有什么不同?生成答案一定是众数序列吗?
- 合成数据训练立项前需留下哪些来源与授权记录?
- 分组例子证明了什么,没证明什么?
- 2.79 倍与 400 TB 分别用了哪些假设?
- 蒸馏只适合窄任务吗?怎样判断是否值得?
- 训练集指标、老师一致性和真实任务质量如何区分?
👀 答案
- 位宽、结构/连接、训练监督分别是主要切入点。它们会相互影响,组合后仍需测质量、文件、显存和速度。
- 教师给出整组类别概率作为额外监督。学生给出自身预测供损失比较。硬标签指定真实类别,软目标还表达教师对非目标类别的相对判断。
- 分数除以 2 再取指数得 4、2、1,总和 7。分别除以 7 得 4/7、2/7、1/7。
- 教师概率加权。软项约 0.138041,硬项约 0.405465,计算 0.25 × 0.138041… + 0.75 × 0.405465… ≈ 0.338609。
- 在分数差异相对 T 小时,梯度近似按 1/T² 缩小。有限 T 下乘回 T² 后仍可能变化。KL 为 0 说明分布匹配,学生也可能复现教师的错误。
- 输出需对齐类别与条件;特征需配层和维度处理;注意力需匹配头、位置或关系;关系蒸馏也有定义与实现边界。
- Token 级比较对齐位置的分布;序列级学习生成答案,可跨 tokenizer。采样、贪心、beam search 均不保证找到真实最高概率序列。
- 模型和版本、生成时间与提示、适用许可/条款、预期用途、数据来源与审核记录。不能用泛化断言替代具体核对。
- 人工构造结果证明总体平均会遮住小组下降;没有证明蒸馏必然伤害长尾、老师熵就是原因或发生过某起业务事故。
- 2.79 倍假设相同 token 预算、前向随参数量线性及在线老师;400 TB 假设 1T token、每项 8 字节的 top-50 缓存,不含额外开销。
- 不是。它可用于通用、专用或同尺寸学生。与合适基线同预算比较,任务和分群达标后,再算总成本和净节约。
- 训练集指标可调试,不能代替泛化验收;与老师一致也不等于真实正确。独立样本与可靠答案缺一不可。
本节回顾
⚡ 走神救援
回来时先接上这四点
- 蒸馏是利用老师监督学生,不自动保证更小、更快或更准。
- 同温比较教师和学生分布,软项乘 T²,硬标签仍看学生 T=1 的输出。
- 总体过关还不够:独立样本、可靠标签和关键分组都要检查。
- 训练、缓存、评测与部署一起算账,不能照搬固定成本倍数。
下一节 👉 18c-剪枝与稀疏化.md