AI基础设施 · 18c
90% 权重变零,为什么文件大小和延迟还可能没变?
置零、压缩存储和实际执行稀疏运算是三件事。非零位置再少,也不能跳过编码、算子和目标硬件的限制。
读完能判断:分开置零、稀疏编码和可执行结构缩减,按目标算子判断收益。
📑 本页目录(点开跳转)
18c · 剪枝与稀疏化
⏱ 36 分钟(参考,可分次读) | ⭐ 零变多了,不等于程序已经更快
🎯 一句话
剪枝要分别验三件事:质量还行吗、实际存储变小了吗、目标硬件上的服务更快了吗?
把权重设成 0 只是改变数值。要省存储和运算,还要看保存格式、执行算子与负载;这些条件匹配时,非结构化剪枝也可能有收益。
想象一个线性层原来要用四个输入特征算两个输出。把一些权重设成零后,程序可以照原样处理四个特征,也可以换成只读非零权重的算子。若删除的是两个完整通道,还可以把层实际改小。下面用同一层算清三条路分别改变了什么。
✂️ 一、非结构化剪枝:先区分置零与压缩
⭐ 本章最重要的一条
非结构化剪枝可以逐个选择权重置零,不要求它们构成完整的行、列或层。
同样形状、同样 dtype 的稠密张量,置零后元素存储字节数不变。 这不等于任何稀疏实现都不能省空间,也不保证剪掉 90% 后质量仍能保持。
设输入 x = [1, 2, 3, 4],权重矩阵 W 有 2 行(输出通道)、4 列(输入通道),这里不加偏置。每个输出等于对应行与输入逐项相乘再相加。W 的两行分别是 [2, 1, 3, 4] 和 [1, −2, 1, 3],原结果是 [2×1+1×2+3×3+4×4, 1×1−2×2+1×3+3×4] = [29, 12]。以下保留位置只用于教学,不代表最优剪枝方案。
| 方式 | 权重两行 | 执行形状 |
|---|---|---|
| 逐权重置零 | [2, 1, 3, 0] [0, 0, 0, 3] | 仍是 2×4 |
| 按 2:4 置零 | [0, 0, 3, 4] [0, −2, 0, 3] | 逻辑上 2×4 |
| 实际删通道 | [3, 4] [1, 3] | 裁成 2×2 |
第一行方案的零值数为 4,原位置数为 2×4 = 8,所以零值稀疏率是 4÷8 = 50%。若仍用 FP32 稠密表示,每个位置占 4 字节,仍是 8×4 = 32 字节。仍调用原尺寸的普通稠密内核时,计算量账也是 2×4 = 8 次乘加。这里用每次「乘一个权重并加到累加器」计 2 次浮点运算(FLOP),共 8×2 = 16 FLOP。零值已经变多,但分配的槽位和走的内核都没变。
换成 CSR(Compressed Sparse Row,压缩稀疏行) 时,存下 4 个非零值 [2, 1, 3, 3],列下标 [0, 1, 2, 3](从 0 数),以及行偏移 [0, 3, 4],用相邻两项圈出每行在列表里的范围。若值用 FP32,两类索引都用 64 位(8 字节),单算数组就是 4×4+4×8+3×8 = 72 字节,比 32 字节还大。小矩阵或零不够多时,光省数值可能抵不过索引。
下面的 PyTorch 实验在 CPU 上进行,不是 GPU 显存或完整 LLM 的性能测试。它比较稠密表示和 CSR(压缩稀疏行)表示,需要安装 PyTorch;运行时会分配数个较大的矩阵。
import time, torch
torch.manual_seed(0)
torch.set_num_threads(4)
W = torch.randn(4096, 4096)
k = int(W.numel() * 0.90)
thr = W.abs().flatten().kthvalue(k).values
W_pruned = W * (W.abs() > thr) # ⭐ 幅度阈值置零;并列值可能改变精确稀疏度
print("稀疏度 : %.1f%%" % ((W_pruned == 0).float().mean() * 100))
print("原张量占用 : %.1f MiB" % (W.element_size() * W.nelement() / 2**20))
print("剪枝后占用 : %.1f MiB" % (W_pruned.element_size() * W_pruned.nelement() / 2**20))
# ⭐ 以上是单张量的元素字节数,不是进程总内存,也不是显存峰值
W_csr = W_pruned.to_sparse_csr()
csr_bytes = sum(t.numel() * t.element_size() for t in
(W_csr.values(), W_csr.col_indices(), W_csr.crow_indices()))
print("CSR 占用 : %.1f MiB" % (csr_bytes / 2**20))
# ⭐ 同时计算数值、列索引、行偏移;不假设所有设备的索引 dtype 相同
def bench(fn, warmup=3, runs=10):
for _ in range(warmup):
fn()
t0 = time.perf_counter()
for _ in range(runs):
fn()
return (time.perf_counter() - t0) / runs * 1000
for B in [1, 64, 1024]:
x = torch.randn(B, 4096)
dense_result = x @ W_pruned.T
sparse_result = torch.sparse.mm(W_csr, x.T).T
torch.testing.assert_close(dense_result, sparse_result, rtol=1e-3, atol=1e-3)
td = bench(lambda: x @ W_pruned.T)
ts = bench(lambda: torch.sparse.mm(W_csr, x.T))
print(f"B={B:<5} 稠密 {td:8.2f} ms 稀疏 {ts:8.2f} ms 比值 {ts/td:.2f}x")
先看能直接算出的存储关系。 4096×4096 个 FP32 元素共 64 MiB,置零后仍为 64 MiB。
若约 90% 的元素为零、CSR 的数值为 FP32、索引为 64bit,数值约 6.4 MiB、列索引约 12.8 MiB、行偏移约 0.031 MiB,合计约 19.2 MiB。这个存储计算不需要用某台机器的耗时来证明。
| 观察对象 | 看哪个输出 | 能推出什么 |
|---|---|---|
| 稠密置零前后 | 两个张量的元素字节数 | 形状和 dtype 不变,元素存储不变 |
| 换成 CSR | 数值、列索引、行偏移的总和 | 空间可能减少,但不是只剩非零值的体积 |
| B=1 | 稀疏耗时 / 稠密耗时 | <1 表示本次稀疏算子快;>1 表示慢 |
| B=64、1024 | 相同口径的耗时比 | 看负载改变后是否出现收益变化 |
请读自己的输出,不预设 B=1 一定更慢或 B=1024 一定更快。 比较耗时前,记下 CPU、PyTorch 版本、线程数与矩阵形状,才能知道结果覆盖什么环境。
B=1 是单个向量参与这一层运算,可帮助观察小批量形状;完整 decode 还有 KV 读写、attention、其他层、批调度和设备差异,不能用这一段 CPU 矩阵乘替代整个 GPU 服务。
为什么有时稀疏不够快?
| 部分 | 稠密路径 | 稀疏路径的额外问题 |
|---|---|---|
| 存储与访问 | 布局规整,成熟算子可以利用连续访问 | 还要读索引;间接访问与负载不均可能增加开销 |
| 运算 | 可使用针对形状、dtype 优化的矩阵内核 | 需要支持该稀疏格式与形状的内核 |
| 瓶颈 | 可能受计算、带宽或调度限制 | 少算乘法不一定降低当前占主要部分的耗时 |
不能把“连续”直接等同于带宽跑满,也不能从 CPU 实验推出 Tensor Core 的表现。CSR 也不代表地址必然完全随机。
剪枝若真正以压缩格式执行,可能同时减少数值字节与运算;索引又会增加字节。上面的 FP32+64bit 列索引例子,仅列索引就是数值字节的 2 倍,不能固定说所有格式都只增加 50%–100%。
判断标准:稀疏度、格式、算子、硬件与负载一起看。 稀疏度不是加速比,但也不是与性能“几乎没有关系”。访存背景见 第 3 章。
🧱 二、半结构化 2:4:给算子一个规整模式
2:4 通常要求在运算指定的分组方向上,每组 4 个元素最多 2 个非零值,即至少 2 个为零。具体方向、维度、dtype 与压缩格式由算子规定,不是随便在矩阵上每圈四个都可以。
| 一组示意 | 符合 2:4 吗 | 怎么理解 |
|---|---|---|
| [0, w1, 0, w3] | 是 | 保留两个数值位置 |
| [0, 0, 0, w3] | 是 | 一个非零也满足条件 |
| [w0, w1, w2, 0] | 否 | 三个非零,超过上限 |
表中的 w0、w1、w2、w3 均表示非零数。看非零数是否超过两个,不是要求恰好两个零。 只有一个非零时,编码仍可使用两个值槽位。对照 PyTorch 的 2:4 说明。
在本章的乘法中,归约轴是每行与输入相乘后再求和的四列。第一节的逐权重方案两行分别有 3、1 个非零,虽然全层也是 50% 零值,第一组仍不合格。第二个方案每行各留 2 个非零,才符合此分组。若实际矩阵转置、存储布局变动,按目标算子所用的归约轴重新查组。TensorRT 矩阵乘的分组要求。
再单算这个布局的存储账。以 PyTorch 2.15 的 2:4 FP16 格式说明为例,每组保留两个 16 位值,位置元数据为两个槽各 2 位。每组从稠密的 4×16 = 64 位变成 2×16+2×2 = 36 位;两组是 72 位,按 8 位一字节得 9 字节,稠密为 16 字节,比例 9÷16 = 56.25%。这里只算格式账,不含对齐等额外开销。这个 2×4 小矩阵也达不到该接口 FP16 二维张量的形状要求,两维须为 64 的正整数倍。
Ampere 等支持相应模式的稀疏 Tensor Core 提供了专门路径,但硬件具备能力不等于任意模型自动加速;仍需转换格式并满足算子限制。
- 峰值计算吞吐的“2 倍”不等于完整服务时延减半。
- 固定的两个值槽位再加元数据,不是无开销的 2 倍存储压缩。
- 比 50% 更多的零可以符合模式,却通常不能让这种固定编码继续按零比例压缩。
- 完整服务的加速比需要在目标环境实测,不能直接借用另一台设备或另一种负载的结果。
🪓 三、结构化剪枝:缩小可执行的模型结构
整头、整通道、整层地删,并正确重连依赖后,可以得到更小的稠密计算结构,通常更容易利用现有稠密算子。
更少参数或 FLOPs 不是确定的等比例加速。 固定开销、内存读写、维度对齐、算子融合和其他瓶颈可能限制收益。
仍用上面的矩阵。若删掉前两个输入通道,要让上一层实际只产出保留的后两个特征 [3, 4],本层权重也要同步裁成 2×2。于是输出是 [3×3+4×4, 1×3+3×4] = [25, 15]。裁完只剩 2×2 = 4 个参数,FP32 权重是 4×4 = 16 字节,普通稠密内核也只需 2×2 = 4 次乘加(8 FLOP)。这里是删去原来 8 个位置中的 4 个,新 2×2 矩阵本身没有零值。若被删通道还被残差或其他分支使用,也要一起处理依赖。
2:4 小例同样只需 4 次有效乘加,但要用能跳过该模式的稀疏内核,否则仍走原来的 8 次稠密乘加。它的输出是 [3×3+4×4, −2×2+3×4] = [25, 8]。假设任务规定「第二个输出至少为 10」才通过,原结果 12 通过,这次 2:4 的 8 却失败。裁通道的 15 在这个样本通过,也只能说明这一次判断相同。上线前要重新评估目标任务和容易受影响的样本。
这段 Python 只复算小矩阵、非零个数和输出,可用标准库运行。四个输出依次是 [29, 12]、[13, 12]、[25, 8]、[25, 15]。程序用普通循环乘矩阵,不测稀疏硬件的速度。
def linear(rows, features):
return [sum(w * x for w, x in zip(row, features)) for row in rows]
x = [1, 2, 3, 4]
original = [[2, 1, 3, 4], [1, -2, 1, 3]]
unstructured = [[2, 1, 3, 0], [0, 0, 0, 3]]
two_of_four = [[0, 0, 3, 4], [0, -2, 0, 3]]
cropped = [row[2:] for row in original]
for masked in (unstructured, two_of_four):
counts = [sum(w != 0 for w in row) for row in masked]
print("非零数:", counts, "符合 2:4:", max(counts) <= 2)
assert sum(counts) == 4
for rows, inputs in ((original, x), (unstructured, x),
(two_of_four, x), (cropped, x[2:])):
print(linear(rows, inputs))
| 粒度 | 保留的尺寸示例 | 需要同时处理 |
|---|---|---|
| 注意力头 | 32→24 头 | Q/K/V、输出投影以及 GQA/MQA 的分组约束 |
| FFN 中间维 | 11008→8192 | 上投影、门控分支和下投影的对应通道 |
| 层数 | 32→24 层 | 层间连接、质量恢复与具体任务变化 |
| hidden width | 4096→3072 | 残差、归一化、嵌入及各投影等全局依赖 |
哪部分最值得剪,要根据该模型的参数、耗时和质量敏感性剖析。不能说所有 LLM 的 FFN 都必然是收益最大处,也不能只改一个配置数字就算完成剪枝。
剪枝后的能力可以尝试恢复,但路线不止蒸馏:
- Minitron研究结构化剪枝配合知识蒸馏。
- Sheared-LLaMA采用目标结构剪枝与继续预训练、动态数据配比;不能把它也概括成“立刻用老师蒸馏”。
- 监督微调、继续预训练、蒸馏的目标和成本不同,恢复多少要重新测;剪枝与蒸馏不是同一件事。
🎯 四、剪谁:幅度剪枝和它的改良
幅度剪枝按 |w| 大小选择要置零的权重,是值得保留的简单基线,不是已知对所有 LLM 都最好的重要性判断。
全局阈值和逐层配额各有风险。 各层尺度不同时,全局排序可能对某些层剪得过多;逐层固定同一比例又可能忽略各层冗余不同。应检查层级敏感性与恢复后的质量。
| 方法 | 评分或处理方式 | 不要误读成 |
|---|---|---|
| Wanda | 单个权重幅度 × 对应输入通道在校准样本上的 L2 范数 | 不是“不看权重大小”,也不是简单统计使用频率 |
| SparseGPT | 利用层输入的二阶近似信息进行剪枝与剩余权重重建 | 不是任意比例都无损,也不是全模型精确 Hessian 求解 |
| 幅度基线 | 按权重绝对值排序 | 不保证比考虑输入信息的方法差,也不保证总是最好 |
Wanda 与量化的 AWQ 都提示输入激活信息有用,但目标函数和算法不一样,不能称为完全同一句话。重要性取决于当前目标和误差影响,不只有“使用得多不多”。
🎟️ 五、迭代剪枝与彩票假说
一次剪到目标稀疏度与分次剪枝,会经过不同的优化路径;迭代恢复可能有帮助,也增加训练成本,不保证总比一次性方法好。
用四轮教学路线区分“总共剪多少”和“本轮剪多少”:
- 到总稀疏度 50%,然后微调。
- 到总稀疏度 70%,然后微调。
- 到总稀疏度 85%,然后微调。
- 到总稀疏度 90%,再验收质量与服务表现。
这里的百分比均相对原始权重数,不是每轮再删除剩余权重的同一比例;这条示意不是推荐的固定配方。
彩票假说提出:在研究覆盖的网络和训练设置中,存在带有合适初始化的稀疏子网络,可以单独训练到可比精度。它不是对任意大网络和任意剪枝比例的普遍保证。
原论文的迭代幅度剪枝与重置初始化,需要付出找到子网络的成本。评估是否省训练,要把搜索、重训和复用次数算在内;不能把它说成“必须训练完所有大网络才能找”,也不能反过来保证一定省钱。
💀 六、教学复盘:90% 稀疏并不等于部署成本降九成
这是重建的教学场景,不是可追溯的真实事故。 假设一个 13B、FP16 模型被非结构化剪枝到约 90% 零值,团队仅按非零数估算“26 GB→2.6 GB”。
这个估算遗漏了两类问题:
- 原始稠密张量若还在,权重元素存储仍约 26 GB。
- mask 或索引要另算,不能把完整 13B 参数的掩码随意说成 0.1 GB。
| 完整 13B 参数对应的表示 | 按十进制计算的存储量 |
|---|---|
| 原 FP16 稠密权重 | 26 GB |
| 每参数 1 字节的布尔 mask | 另加 13 GB |
| 每参数 2 字节的 FP16 mask | 另加 26 GB |
| 假设专门实现位打包,每参数 1 bit | 另加 1.625 GB;并不自动成为高效执行格式 |
这些是按元素字节数复算的例子,不是框架内存峰值。具体框架可能保留原参数、掩码、临时张量或压缩后的新格式;应查看实际产物。
少算一半的层,放回整条服务路径再看
教学假设:某次请求基线耗时 100 ms,只有 20 ms 在可替换的矩阵乘里,其余 80 ms 保持不变。即使这个矩阵乘真的快到一半,也只是省 20 − 10 = 10 ms;整条路径在没有新开销时是 80+10 = 90 ms,提速 100÷90 ≈ 1.11 倍。
若新路径每次请求还要增加 12 ms 的重排或同步,合计 80+10+12 = 102 ms,比原来慢。这里是按串行时段算的演示;只在导出时做一次的权重打包不应记进每次请求,服务中能重叠的时段也不能简单相加。
因此不能仅由“13B→1.3B 非零值”推出可以从 2×A100 换成 1×A10,更不能据此形成采购承诺。还缺质量、完整容量、内核支持、吞吐、延迟与目标并发证据。
验收不是把“稀疏度和精度”换成另外两个数,而是补齐维度:
- 质量:原有任务、关键分组、稳定性和必要的恢复训练。
- 存储:文件大小、加载后占用、运行峰值;分别计算,不混用。
- 服务:固定负载下的首 token、后续 token、P50/P99 延迟、吞吐与并发。
- 成本:压缩、恢复、部署和维护的总成本;小样矩阵实验只用于早期筛查。
先做目标硬件的格式与形状实验,再做端到端测试;30 分钟可以是一次排查安排,不是充分验收时间。
与 蒸馏章节、量化章节的共同点是:实现成功不等于优化成功。 软件也可能报错,只是质量或性能退化不一定会通过异常提示出来。
选路线时先分清改动的位置:剪枝改变保留的权重或结构,量化改变数值表示;蒸馏用教师的输出等信号训练学生。投机解码则在生成时增加提议和验证流程,在满足对应验证规则时可以保留目标模型的输出分布。它们各自的部署收益都要按最终负载验收。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 | 把稀疏值、索引与实际访问方式一起计入 |
| 第 15 章 | 区分小批量解码、大批量与其他推理阶段的瓶颈 |
| 第 18 章 | AWQ 和 Wanda 都利用激活信息,但不是同一算法 |
| 第 18b 章 | 蒸馏是剪枝后能力恢复的候选路线之一 |
| 第 2 章 | 算子是否支持相应稀疏模式 |
| 模型上线之后 18 | 成本与服务能力不能由参数量直接推定 |
| 大模型导论 06 | 部署方案各有适用条件;清单未列出某方法,不证明它无用 |
✅ 检查点
- 为什么置零、稀疏存储和加速是三件事?
- 90% 零值的同形状 FP32 稠密张量会省多少元素存储?换 CSR 呢?
- B=1 的 CPU 矩阵乘能否证明完整 GPU 解码一定更慢?
- 两行各有 3 和 1 个非零、全层 50% 零值,满足按行分组的 2:4 吗?若组内有三个零,固定编码会继续缩小吗?
- 本章从 2×4 裁成 2×2 后,乘加次数怎么变?为什么整条服务未必同比变快?
- 全局阈值与逐层配额分别有什么风险?
- Wanda 是否不看权重大小?它与 AWQ 是同一种方法吗?
- 迭代剪枝为何可能有帮助?彩票搜索的成本怎么计入?
- 一个压缩项目的验收要包含哪些维度?
👀 答案
- 置零改数值,稀疏格式改存储,内核和负载决定执行开销;任何一步都不能代替后续验证。
- 同形状同 dtype 的稠密元素存储仍为 64 MiB;本例 CSR 需连同索引约算为 19.2 MiB,具体看实际 dtype 与非零数。
- 不能。它只覆盖这一 CPU 运算与输入形状,不包括完整模型或 GPU 服务。
- 不满足,第一组超过两个非零。组内有三个零可以满足规则,但固定两个值槽位和元数据通常不会因此继续缩小。
- 从 2×4 = 8 次降到 2×2 = 4 次;对齐、额外开销和未改变的阶段仍影响端到端速度。100 ms 的算例里,省 10 ms 后若又增加 12 ms,整条路径反而变为 102 ms。
- 全局阈值可能过度剪某些层;相同逐层配额可能忽略层间敏感性差异。
- Wanda 同时乘权重幅度与输入通道范数;它和 AWQ 都用激活信息,但任务和算法不同。
- 分次恢复给优化留下调整机会,也增加成本;彩票方法需合计搜索、重新训练与复用,不能只看小网络的一次训练。
- 质量、存储、实际服务指标与总成本;稀疏度作为过程信息保留,不能独自决定上线。
本节回顾
⚡ 走神救援
- 置零不等于压缩格式,压缩格式也不等于已经加速。
- 稀疏值与索引一起算,目标硬件和负载一起测。
- 2:4 允许每组最多两个非零;结构化剪枝也不保证等比例提速。
- 质量恢复与服务验收都保留,不用“参数少了”代替结果。
下一节 👉 19-投机解码.md