🏠 总目录📚 本教程 剪枝与稀疏化 ← →

AI基础设施 · 18c

90% 权重变零,为什么文件大小和延迟还可能没变?

置零、压缩存储和实际执行稀疏运算是三件事。非零位置再少,也不能跳过编码、算子和目标硬件的限制。

读完能判断:分开置零、稀疏编码和可执行结构缩减,按目标算子判断收益。

📑 本页目录(点开跳转)

18c · 剪枝与稀疏化

⏱ 36 分钟(参考,可分次读) | ⭐ 零变多了,不等于程序已经更快


🎯 一句话

剪枝要分别验三件事:质量还行吗、实际存储变小了吗、目标硬件上的服务更快了吗?

把权重设成 0 只是改变数值。要省存储和运算,还要看保存格式、执行算子与负载;这些条件匹配时,非结构化剪枝也可能有收益。

想象一个线性层原来要用四个输入特征算两个输出。把一些权重设成零后,程序可以照原样处理四个特征,也可以换成只读非零权重的算子。若删除的是两个完整通道,还可以把层实际改小。下面用同一层算清三条路分别改变了什么。


✂️ 一、非结构化剪枝:先区分置零与压缩

⭐ 本章最重要的一条

非结构化剪枝可以逐个选择权重置零,不要求它们构成完整的行、列或层。

同样形状、同样 dtype 的稠密张量,置零后元素存储字节数不变。 这不等于任何稀疏实现都不能省空间,也不保证剪掉 90% 后质量仍能保持。

设输入 x = [1, 2, 3, 4],权重矩阵 W 有 2 行(输出通道)、4 列(输入通道),这里不加偏置。每个输出等于对应行与输入逐项相乘再相加。W 的两行分别是 [2, 1, 3, 4] 和 [1, −2, 1, 3],原结果是 [2×1+1×2+3×3+4×4, 1×1−2×2+1×3+3×4] = [29, 12]。以下保留位置只用于教学,不代表最优剪枝方案。

同一层,三种去掉一半权重的方式
方式权重两行执行形状
逐权重置零[2, 1, 3, 0]
[0, 0, 0, 3]
仍是 2×4
按 2:4 置零[0, 0, 3, 4]
[0, −2, 0, 3]
逻辑上 2×4
实际删通道[3, 4]
[1, 3]
裁成 2×2

第一行方案的零值数为 4,原位置数为 2×4 = 8,所以零值稀疏率是 4÷8 = 50%。若仍用 FP32 稠密表示,每个位置占 4 字节,仍是 8×4 = 32 字节。仍调用原尺寸的普通稠密内核时,计算量账也是 2×4 = 8 次乘加。这里用每次「乘一个权重并加到累加器」计 2 次浮点运算(FLOP),共 8×2 = 16 FLOP。零值已经变多,但分配的槽位和走的内核都没变。

换成 CSR(Compressed Sparse Row,压缩稀疏行) 时,存下 4 个非零值 [2, 1, 3, 3],列下标 [0, 1, 2, 3](从 0 数),以及行偏移 [0, 3, 4],用相邻两项圈出每行在列表里的范围。若值用 FP32,两类索引都用 64 位(8 字节),单算数组就是 4×4+4×8+3×8 = 72 字节,比 32 字节还大。小矩阵或零不够多时,光省数值可能抵不过索引。

下面的 PyTorch 实验在 CPU 上进行,不是 GPU 显存或完整 LLM 的性能测试。它比较稠密表示和 CSR(压缩稀疏行)表示,需要安装 PyTorch;运行时会分配数个较大的矩阵。

import time, torch

torch.manual_seed(0)
torch.set_num_threads(4)
W = torch.randn(4096, 4096)

k = int(W.numel() * 0.90)
thr = W.abs().flatten().kthvalue(k).values
W_pruned = W * (W.abs() > thr)  # ⭐ 幅度阈值置零;并列值可能改变精确稀疏度

print("稀疏度        : %.1f%%" % ((W_pruned == 0).float().mean() * 100))
print("原张量占用    : %.1f MiB" % (W.element_size() * W.nelement() / 2**20))
print("剪枝后占用    : %.1f MiB" % (W_pruned.element_size() * W_pruned.nelement() / 2**20))
# ⭐ 以上是单张量的元素字节数,不是进程总内存,也不是显存峰值

W_csr = W_pruned.to_sparse_csr()
csr_bytes = sum(t.numel() * t.element_size() for t in
                (W_csr.values(), W_csr.col_indices(), W_csr.crow_indices()))
print("CSR 占用      : %.1f MiB" % (csr_bytes / 2**20))
# ⭐ 同时计算数值、列索引、行偏移;不假设所有设备的索引 dtype 相同

def bench(fn, warmup=3, runs=10):
    for _ in range(warmup):
        fn()
    t0 = time.perf_counter()
    for _ in range(runs):
        fn()
    return (time.perf_counter() - t0) / runs * 1000

for B in [1, 64, 1024]:
    x = torch.randn(B, 4096)
    dense_result = x @ W_pruned.T
    sparse_result = torch.sparse.mm(W_csr, x.T).T
    torch.testing.assert_close(dense_result, sparse_result, rtol=1e-3, atol=1e-3)
    td = bench(lambda: x @ W_pruned.T)
    ts = bench(lambda: torch.sparse.mm(W_csr, x.T))
    print(f"B={B:<5} 稠密 {td:8.2f} ms   稀疏 {ts:8.2f} ms   比值 {ts/td:.2f}x")

先看能直接算出的存储关系。 4096×4096 个 FP32 元素共 64 MiB,置零后仍为 64 MiB。

若约 90% 的元素为零、CSR 的数值为 FP32、索引为 64bit,数值约 6.4 MiB、列索引约 12.8 MiB、行偏移约 0.031 MiB,合计约 19.2 MiB。这个存储计算不需要用某台机器的耗时来证明。

观察对象 看哪个输出 能推出什么
稠密置零前后 两个张量的元素字节数 形状和 dtype 不变,元素存储不变
换成 CSR 数值、列索引、行偏移的总和 空间可能减少,但不是只剩非零值的体积
B=1 稀疏耗时 / 稠密耗时 <1 表示本次稀疏算子快;>1 表示慢
B=64、1024 相同口径的耗时比 看负载改变后是否出现收益变化

请读自己的输出,不预设 B=1 一定更慢或 B=1024 一定更快。 比较耗时前,记下 CPU、PyTorch 版本、线程数与矩阵形状,才能知道结果覆盖什么环境。

B=1 是单个向量参与这一层运算,可帮助观察小批量形状;完整 decode 还有 KV 读写、attention、其他层、批调度和设备差异,不能用这一段 CPU 矩阵乘替代整个 GPU 服务。

为什么有时稀疏不够快?

部分 稠密路径 稀疏路径的额外问题
存储与访问 布局规整,成熟算子可以利用连续访问 还要读索引;间接访问与负载不均可能增加开销
运算 可使用针对形状、dtype 优化的矩阵内核 需要支持该稀疏格式与形状的内核
瓶颈 可能受计算、带宽或调度限制 少算乘法不一定降低当前占主要部分的耗时

不能把“连续”直接等同于带宽跑满,也不能从 CPU 实验推出 Tensor Core 的表现。CSR 也不代表地址必然完全随机。

剪枝若真正以压缩格式执行,可能同时减少数值字节与运算;索引又会增加字节。上面的 FP32+64bit 列索引例子,仅列索引就是数值字节的 2 倍,不能固定说所有格式都只增加 50%–100%。

判断标准:稀疏度、格式、算子、硬件与负载一起看。 稀疏度不是加速比,但也不是与性能“几乎没有关系”。访存背景见 第 3 章。


🧱 二、半结构化 2:4:给算子一个规整模式

2:4 通常要求在运算指定的分组方向上,每组 4 个元素最多 2 个非零值,即至少 2 个为零。具体方向、维度、dtype 与压缩格式由算子规定,不是随便在矩阵上每圈四个都可以。

一组示意 符合 2:4 吗 怎么理解
[0, w1, 0, w3] 是 保留两个数值位置
[0, 0, 0, w3] 是 一个非零也满足条件
[w0, w1, w2, 0] 否 三个非零,超过上限

表中的 w0、w1、w2、w3 均表示非零数。看非零数是否超过两个,不是要求恰好两个零。 只有一个非零时,编码仍可使用两个值槽位。对照 PyTorch 的 2:4 说明。

在本章的乘法中,归约轴是每行与输入相乘后再求和的四列。第一节的逐权重方案两行分别有 3、1 个非零,虽然全层也是 50% 零值,第一组仍不合格。第二个方案每行各留 2 个非零,才符合此分组。若实际矩阵转置、存储布局变动,按目标算子所用的归约轴重新查组。TensorRT 矩阵乘的分组要求。

再单算这个布局的存储账。以 PyTorch 2.15 的 2:4 FP16 格式说明为例,每组保留两个 16 位值,位置元数据为两个槽各 2 位。每组从稠密的 4×16 = 64 位变成 2×16+2×2 = 36 位;两组是 72 位,按 8 位一字节得 9 字节,稠密为 16 字节,比例 9÷16 = 56.25%。这里只算格式账,不含对齐等额外开销。这个 2×4 小矩阵也达不到该接口 FP16 二维张量的形状要求,两维须为 64 的正整数倍。

Ampere 等支持相应模式的稀疏 Tensor Core 提供了专门路径,但硬件具备能力不等于任意模型自动加速;仍需转换格式并满足算子限制。


🪓 三、结构化剪枝:缩小可执行的模型结构

整头、整通道、整层地删,并正确重连依赖后,可以得到更小的稠密计算结构,通常更容易利用现有稠密算子。

更少参数或 FLOPs 不是确定的等比例加速。 固定开销、内存读写、维度对齐、算子融合和其他瓶颈可能限制收益。

仍用上面的矩阵。若删掉前两个输入通道,要让上一层实际只产出保留的后两个特征 [3, 4],本层权重也要同步裁成 2×2。于是输出是 [3×3+4×4, 1×3+3×4] = [25, 15]。裁完只剩 2×2 = 4 个参数,FP32 权重是 4×4 = 16 字节,普通稠密内核也只需 2×2 = 4 次乘加(8 FLOP)。这里是删去原来 8 个位置中的 4 个,新 2×2 矩阵本身没有零值。若被删通道还被残差或其他分支使用,也要一起处理依赖。

2:4 小例同样只需 4 次有效乘加,但要用能跳过该模式的稀疏内核,否则仍走原来的 8 次稠密乘加。它的输出是 [3×3+4×4, −2×2+3×4] = [25, 8]。假设任务规定「第二个输出至少为 10」才通过,原结果 12 通过,这次 2:4 的 8 却失败。裁通道的 15 在这个样本通过,也只能说明这一次判断相同。上线前要重新评估目标任务和容易受影响的样本。

这段 Python 只复算小矩阵、非零个数和输出,可用标准库运行。四个输出依次是 [29, 12]、[13, 12]、[25, 8]、[25, 15]。程序用普通循环乘矩阵,不测稀疏硬件的速度。

def linear(rows, features):
    return [sum(w * x for w, x in zip(row, features)) for row in rows]

x = [1, 2, 3, 4]
original = [[2, 1, 3, 4], [1, -2, 1, 3]]
unstructured = [[2, 1, 3, 0], [0, 0, 0, 3]]
two_of_four = [[0, 0, 3, 4], [0, -2, 0, 3]]
cropped = [row[2:] for row in original]

for masked in (unstructured, two_of_four):
    counts = [sum(w != 0 for w in row) for row in masked]
    print("非零数:", counts, "符合 2:4:", max(counts) <= 2)
    assert sum(counts) == 4

for rows, inputs in ((original, x), (unstructured, x),
                     (two_of_four, x), (cropped, x[2:])):
    print(linear(rows, inputs))
粒度 保留的尺寸示例 需要同时处理
注意力头 32→24 头 Q/K/V、输出投影以及 GQA/MQA 的分组约束
FFN 中间维 11008→8192 上投影、门控分支和下投影的对应通道
层数 32→24 层 层间连接、质量恢复与具体任务变化
hidden width 4096→3072 残差、归一化、嵌入及各投影等全局依赖

哪部分最值得剪,要根据该模型的参数、耗时和质量敏感性剖析。不能说所有 LLM 的 FFN 都必然是收益最大处,也不能只改一个配置数字就算完成剪枝。

剪枝后的能力可以尝试恢复,但路线不止蒸馏:


🎯 四、剪谁:幅度剪枝和它的改良

幅度剪枝按 |w| 大小选择要置零的权重,是值得保留的简单基线,不是已知对所有 LLM 都最好的重要性判断。

全局阈值和逐层配额各有风险。 各层尺度不同时,全局排序可能对某些层剪得过多;逐层固定同一比例又可能忽略各层冗余不同。应检查层级敏感性与恢复后的质量。

方法 评分或处理方式 不要误读成
Wanda 单个权重幅度 × 对应输入通道在校准样本上的 L2 范数 不是“不看权重大小”,也不是简单统计使用频率
SparseGPT 利用层输入的二阶近似信息进行剪枝与剩余权重重建 不是任意比例都无损,也不是全模型精确 Hessian 求解
幅度基线 按权重绝对值排序 不保证比考虑输入信息的方法差,也不保证总是最好

对照 Wanda 与 SparseGPT 原论文。

Wanda 与量化的 AWQ 都提示输入激活信息有用,但目标函数和算法不一样,不能称为完全同一句话。重要性取决于当前目标和误差影响,不只有“使用得多不多”。


🎟️ 五、迭代剪枝与彩票假说

一次剪到目标稀疏度与分次剪枝,会经过不同的优化路径;迭代恢复可能有帮助,也增加训练成本,不保证总比一次性方法好。

用四轮教学路线区分“总共剪多少”和“本轮剪多少”:

  1. 到总稀疏度 50%,然后微调。
  2. 到总稀疏度 70%,然后微调。
  3. 到总稀疏度 85%,然后微调。
  4. 到总稀疏度 90%,再验收质量与服务表现。

这里的百分比均相对原始权重数,不是每轮再删除剩余权重的同一比例;这条示意不是推荐的固定配方。

彩票假说提出:在研究覆盖的网络和训练设置中,存在带有合适初始化的稀疏子网络,可以单独训练到可比精度。它不是对任意大网络和任意剪枝比例的普遍保证。

原论文的迭代幅度剪枝与重置初始化,需要付出找到子网络的成本。评估是否省训练,要把搜索、重训和复用次数算在内;不能把它说成“必须训练完所有大网络才能找”,也不能反过来保证一定省钱。


💀 六、教学复盘:90% 稀疏并不等于部署成本降九成

这是重建的教学场景,不是可追溯的真实事故。 假设一个 13B、FP16 模型被非结构化剪枝到约 90% 零值,团队仅按非零数估算“26 GB→2.6 GB”。

这个估算遗漏了两类问题:

  1. 原始稠密张量若还在,权重元素存储仍约 26 GB。
  2. mask 或索引要另算,不能把完整 13B 参数的掩码随意说成 0.1 GB。
完整 13B 参数对应的表示 按十进制计算的存储量
原 FP16 稠密权重 26 GB
每参数 1 字节的布尔 mask 另加 13 GB
每参数 2 字节的 FP16 mask 另加 26 GB
假设专门实现位打包,每参数 1 bit 另加 1.625 GB;并不自动成为高效执行格式

这些是按元素字节数复算的例子,不是框架内存峰值。具体框架可能保留原参数、掩码、临时张量或压缩后的新格式;应查看实际产物。

少算一半的层,放回整条服务路径再看

教学假设:某次请求基线耗时 100 ms,只有 20 ms 在可替换的矩阵乘里,其余 80 ms 保持不变。即使这个矩阵乘真的快到一半,也只是省 20 − 10 = 10 ms;整条路径在没有新开销时是 80+10 = 90 ms,提速 100÷90 ≈ 1.11 倍。

若新路径每次请求还要增加 12 ms 的重排或同步,合计 80+10+12 = 102 ms,比原来慢。这里是按串行时段算的演示;只在导出时做一次的权重打包不应记进每次请求,服务中能重叠的时段也不能简单相加。

因此不能仅由“13B→1.3B 非零值”推出可以从 2×A100 换成 1×A10,更不能据此形成采购承诺。还缺质量、完整容量、内核支持、吞吐、延迟与目标并发证据。

验收不是把“稀疏度和精度”换成另外两个数,而是补齐维度:

先做目标硬件的格式与形状实验,再做端到端测试;30 分钟可以是一次排查安排,不是充分验收时间。

与 蒸馏章节、量化章节的共同点是:实现成功不等于优化成功。 软件也可能报错,只是质量或性能退化不一定会通过异常提示出来。

选路线时先分清改动的位置:剪枝改变保留的权重或结构,量化改变数值表示;蒸馏用教师的输出等信号训练学生。投机解码则在生成时增加提议和验证流程,在满足对应验证规则时可以保留目标模型的输出分布。它们各自的部署收益都要按最终负载验收。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 把稀疏值、索引与实际访问方式一起计入
第 15 章 区分小批量解码、大批量与其他推理阶段的瓶颈
第 18 章 AWQ 和 Wanda 都利用激活信息,但不是同一算法
第 18b 章 蒸馏是剪枝后能力恢复的候选路线之一
第 2 章 算子是否支持相应稀疏模式
模型上线之后 18 成本与服务能力不能由参数量直接推定
大模型导论 06 部署方案各有适用条件;清单未列出某方法,不证明它无用

✅ 检查点

  1. 为什么置零、稀疏存储和加速是三件事?
  2. 90% 零值的同形状 FP32 稠密张量会省多少元素存储?换 CSR 呢?
  3. B=1 的 CPU 矩阵乘能否证明完整 GPU 解码一定更慢?
  4. 两行各有 3 和 1 个非零、全层 50% 零值,满足按行分组的 2:4 吗?若组内有三个零,固定编码会继续缩小吗?
  5. 本章从 2×4 裁成 2×2 后,乘加次数怎么变?为什么整条服务未必同比变快?
  6. 全局阈值与逐层配额分别有什么风险?
  7. Wanda 是否不看权重大小?它与 AWQ 是同一种方法吗?
  8. 迭代剪枝为何可能有帮助?彩票搜索的成本怎么计入?
  9. 一个压缩项目的验收要包含哪些维度?
👀 答案
  1. 置零改数值,稀疏格式改存储,内核和负载决定执行开销;任何一步都不能代替后续验证。
  2. 同形状同 dtype 的稠密元素存储仍为 64 MiB;本例 CSR 需连同索引约算为 19.2 MiB,具体看实际 dtype 与非零数。
  3. 不能。它只覆盖这一 CPU 运算与输入形状,不包括完整模型或 GPU 服务。
  4. 不满足,第一组超过两个非零。组内有三个零可以满足规则,但固定两个值槽位和元数据通常不会因此继续缩小。
  5. 从 2×4 = 8 次降到 2×2 = 4 次;对齐、额外开销和未改变的阶段仍影响端到端速度。100 ms 的算例里,省 10 ms 后若又增加 12 ms,整条路径反而变为 102 ms。
  6. 全局阈值可能过度剪某些层;相同逐层配额可能忽略层间敏感性差异。
  7. Wanda 同时乘权重幅度与输入通道范数;它和 AWQ 都用激活信息,但任务和算法不同。
  8. 分次恢复给优化留下调整机会,也增加成本;彩票方法需合计搜索、重新训练与复用,不能只看小网络的一次训练。
  9. 质量、存储、实际服务指标与总成本;稀疏度作为过程信息保留,不能独自决定上线。

本节回顾

⚡ 走神救援

下一节 👉 19-投机解码.md

打卡记录保存在你的浏览器里,首页能看到总进度