🏠 总目录📚 本教程 量化 ← →

AI基础设施 · 18

权重位数减半,服务时延为什么未必减半?

缩短元素表示会改变量程与误差,也需要相应算子支持。位数、文件大小、吞吐和质量要分别核对。

读完能判断:把量程、舍入、离群值、内核支持与质量评估连起来。

📑 本页目录(点开跳转)

18 · 量化

⏱ 32 分钟(原有参考时长,新增推导建议分次读) | ⭐ 少存、少搬,但要实际验证速度与质量

这一章只追四个问题

  1. 有限个整数格子怎样近似连续数值?
  2. 为什么同一位宽换一种量程或粒度,误差会完全不同?
  3. 校准、PTQ 与 QAT 分别在解决哪一步?
  4. 数值误差怎样传进线性层,最后又该怎样验收任务质量?

🎯 一句话

量化用更少的位数表示数值,可以减少权重或缓存的存储;是否更快,要看当前瓶颈和执行它的算子。

不要先背“INT4 快四倍”。先问:量化的是权重、激活还是 KV Cache?推理引擎是否真的用上低精度格式?你的任务质量能否接受?


📉 一、为什么小批量解码值得先看量化

在小批量、逐 token 解码、权重读取占主要时间时,减少权重搬运量可能很有效。大批量、长上下文、prefill、通信或调度开销占主导时,瓶颈会不同。见 第 15 章。

下面沿用 第 4 章 的心算模型,但把假设写在数字旁边:

权重格式 纯权重字节数 2000 GB/s ÷ 纯权重大小
BF16,2 字节/参数 14 GB 约 143 token/s
INT8,1 字节/参数 7 GB 约 286 token/s
INT4,半字节/参数 3.5 GB 约 571 token/s

看最后一列的比例,不把它当实测吞吐。 理想权重读取时间依次减半,但实际解码不保证按 2 倍、4 倍提速,甚至可能因算子或反量化开销变慢。

量化的三个潜在收益:

  1. 权重读取更省,可能降低单 token 延迟。
  2. 腾出显存,可能容纳更多请求或更长上下文。
  3. 降低部署容量要求,但换硬件后仍需重新核对速度、质量和成本。

训练同样可能受益于低精度计算、通信或存储。不能把“训练最多 BF16/FP8”写成技术上限;QLoRA 等路线使用低比特冻结基座,QAT 则让权重适应量化误差,两者都不等于所有训练状态以相同低位宽计算。


🔢 二、量化的基本原理

先把实数映射到有限整数格子,再用比例尺近似还原。这里的“连续”是直觉说法:计算机里的 FP16/FP32 也只有有限个可表示值;量化只是把可选格子进一步变少。

FP16原始权重示意:FP16 的可表示值也有限粗格点量化后:只能落在这些格点上 —— 每个数被「吸」到最近的格子量化:用更粗的格点近似原来的数值⭐ 关键是【缩放因子】选多大:格子铺太宽浪费精度,铺太窄两头被截断本图只画 17 个示意格点;完整整数范围与 scale 见正文例子
看虚线:不同的原始值可能落到同一格点,因而丢失细节。这里只用少量格点解释舍入,不是完整 INT8 编码表;FP16 本身也只有有限可表示值。缩放因子决定量程与间距:范围过窄会截断,过宽可能增加常见值的误差。

$$\begin{aligned} q&=\operatorname{clip}\big(\operatorname{round}(x/s)+z,\ q_{\min},q_{\max}\big)\\ \hat{x}&=s(q-z) \end{aligned}$$

先从量程推导 scale 与 zero point

为什么公式要同时有 s 和 z?因为我们要让实数区间的两个端点,尽量落到整数区间的两个端点。设参考实数范围是 [xmin, xmax],整数范围是 [qmin, qmax]。下面先假设参考范围包含实数 0;若原始统计范围不含 0,实现通常会扩展范围或把 z 限制到可用整数区间。两个区间分别有 xmax−xmin 与 qmax−qmin 的跨度,所以每一个整数间隔应代表:

$$s=\frac{x_{\max}-x_{\min}}{q_{\max}-q_{\min}}$$

再要求“实数 0 映射到整数 z”。把 x=0 代入未截断的映射 q≈x/s+z,可得 z≈qmin−xmin/s;实现还会把 z 舍入并限制在整数范围内。

完整的非对称 INT8 例子: 假设一组权重的参考范围是 −0.2~0.8,使用 qmin=−128、qmax=127。

  1. 先算跨度:0.8−(−0.2)=1.0;整数跨度是 127−(−128)=255。
  2. 得到 s=1.0/255≈0.00392157。也就是整数每走一格,实数约变化 0.00392。
  3. 计算零点:z=round(−128−(−0.2/0.00392157))=round(−77)=−77。于是实数 0 正好用整数 −77 表示。
  4. 量化 x=0.28:q=round(0.28/0.00392157)−77=71−77=−6,没有超界,不需要截断。
  5. 反量化:x̂=0.00392157×(−6−(−77))=0.00392157×71≈0.278431。
  6. 误差:x̂−x≈0.278431−0.28=−0.001569。负号表示近似值比原值略小。

这个例子里的量程是演示设定,不是模型自动保证的最佳答案。若后续输入跑到 1.2,q 会被 clip 到 127,反量化仍只能得到约 0.8;这叫饱和或截断误差。量程铺得太宽,常见值的格子又会变粗;校准要处理的正是这组取舍。

把同一套步骤写成不依赖第三方库的 Python,公式和代码可以逐行对照:

def quantize_affine(x, x_min=-0.2, x_max=0.8, q_min=-128, q_max=127):
    # 两个区间的跨度决定一格有多宽
    scale = (x_max - x_min) / (q_max - q_min)

    # 先让实数 0 对应某个整数,再把它限制在合法编码内
    zero_point = round(q_min - x_min / scale)
    zero_point = max(q_min, min(q_max, zero_point))

    # 量化:除以格距、舍入、平移、截断
    q = round(x / scale) + zero_point
    q = max(q_min, min(q_max, q))

    # 反量化,并返回这一次的有符号误差
    x_hat = scale * (q - zero_point)
    return scale, zero_point, q, x_hat, x_hat - x


print(quantize_affine(0.28))

输出约为 (0.00392157, -77, -6, 0.27843137, -0.00156863)。这段代码用于解释步骤,不替代框架实现;不同库可能规定不同的舍入模式、饱和行为和 scale 存储精度,部署时必须以实际算子为准。

一个口径一致的对称 INT8 例子: 使用整数范围 −127~127,z=0,实数参考范围 −0.5~0.5,因此 s=0.5/127≈0.003937。

步骤 对 x=0.3 的计算
除以 scale 0.3 ÷ (0.5/127)=76.2
舍入与截断 q=76,仍在范围内
还原 x̂=76×0.5/127≈0.299213
误差 x̂−x≈−0.000787

这里特意不用 −128 这个编码来保持对称。非对称量化可以利用不对称范围,但要相应计算和约束零点,不能把不同方案的 scale 混在同一个例子里。

选择 含义 代价与边界
对称 / 非对称 本例 z=0;其他方案允许偏移 非对称范围可能减少误差;是否更准、更快取决于分布与算子
per-tensor 整个张量共用 scale 元数据少,但跨度差异较大的位置可能互相牵制
per-channel 不同通道分别定 scale 通道轴要按当前运算定义
per-group 如每 128 个权重一组 128 只是候选;组越细通常有更多尺度信息,也增加存储和执行开销

粒度怎样改变线性层误差

“每通道更细”不能只靠一句定义理解。下面用一个两行权重矩阵做教学用 4bit 心算。把每一行当作一个输出通道,采用对称整数范围 −7~7;真实框架的通道轴由算子和权重布局决定,不能永远假设是行。

$$W=\begin{bmatrix}0.9&-0.8\\0.06&-0.04\end{bmatrix},\qquad x=\begin{bmatrix}2\\1\end{bmatrix}$$

per-tensor: 整个 W 共用 s=0.9/7≈0.128571。第二行的 0.06/s≈0.467、−0.04/s≈−0.311,都舍入为 0,反量化后第二行变成 [0,0]。

per-channel: 第一行仍用 0.9/7;第二行单独用 s2=0.06/7≈0.008571。于是第二行编码为 [7,−5],反量化得到 [0.06,−0.042857],小权重没有全部消失。

现在把误差带进线性层。原始第二个输出是 y2=0.06×2+(−0.04)×1=0.08。per-tensor 结果是 0×2+0×1=0,误差为 −0.08;per-channel 结果是 0.06×2+(−0.042857)×1≈0.077143,误差约 −0.002857。

一般地,设线性层有 n 个输入、m 个输出:权重矩阵 $W\in\mathbb{R}^{m\times n}$,输入向量 $x\in\mathbb{R}^{n}$,偏置 $b\in\mathbb{R}^{m}$,原始输出 $y=Wx+b\in\mathbb{R}^{m}$。量化并反量化后的近似权重记作 $\hat{W}\in\mathbb{R}^{m\times n}$。

本例只量化权重,输入 x 与偏置 b 保持相同。 因此近似输出是 $\hat{y}=\hat{W}x+b$,输出变化 $\Delta y$ 才能化简为:

$$\Delta y=\hat{y}-y=(\hat{W}x+b)-(Wx+b)=(\hat{W}-W)x$$

若输入激活或偏置也被量化,分别记为 $\hat{x}$、$\hat{b}$,并把此时的近似输出记为 $\tilde{y}=\hat{W}\hat{x}+\hat{b}$,那么完整差值可以拆成:

$$\tilde{y}-y=(\hat{W}-W)x+\hat{W}(\hat{x}-x)+(\hat{b}-b)$$

右边三项依次来自权重、激活和偏置。只保留第一项,就等于假设后两项为 0;因此不能把本章的简式直接套到 W8A8 等同时量化权重和激活的方案。

粒度更细通常能提供更多尺度信息,也会增加 scale 元数据、内核复杂度或执行限制。比较时要保持 zero point、分组方式、模型输入与实际内核一致。


😖 三、离群值:LLM 量化的核心难题

如果少数值把量程拉得很宽,常见的小值会挤在很少几个格子里。 不是所有模型都固定存在“100 倍离群值”,也不是有离群值就必然失效。

以这一组人工数值为例:

位置 0 1 2 3 1024 4096
值 0.3 0.2 −0.4 0.5 87.2 0.1

若按最大绝对值做对称 INT8 量化,s=87.2/127≈0.687。于是 0.3/s≈0.437、0.2/s≈0.291,舍入后都变成 0;它们原来的区别丢了。

这个例子解释的是量化误差的来源,不是实际模型精度下降的测量。

方法 它在处理什么
LLM.int8() 对某些离群激活维度使用较高精度的混合计算,其他部分使用 INT8
SmoothQuant 对匹配通道做缩放:激活除以一个因子,权重乘以它;量化前乘积不变,尝试让激活更易量化
AWQ 利用激活信息识别对量化更敏感的权重/通道,通过尺度选择减小误差

“保护约 1% 的显著权重有效”是 AWQ 的实验观察,不是“剩下 99% 权重不重要”。 它也不等于直接把这一小部分全部保留成 FP16。对照 AWQ 原论文。

SmoothQuant 的等价性发生在量化前;量化后仍有误差与权重/激活之间的折中。见 SmoothQuant 原论文。


🧰 四、主流方法怎么选

先分清两条路:PTQ 和 QAT

PTQ 不通过常规量化感知训练来适应权重;QAT 则在训练中模拟或引入量化效应。 两条路线都可能用于 LLM,不能说 QAT 已经没有用处。

比较 PTQ(训练后量化) QAT(量化感知训练)
起点 已训练模型,应用选定量化方法 已有模型微调或训练流程中加入量化模拟
数据需求 因方法而异;静态校准常需代表性样本,某些动态方法不需预先校准集 需要适配任务的数据、训练目标与更新流程,不必拿到原始预训练全集
计算成本 取决于模型大小、方法与设备,不保证一张卡或几十分钟 增加训练成本,但不等于必须从头预训练整个模型
质量判断 INT4 不保证无损 可能恢复部分量化损失,低比特下也不保证成功

可对照 PyTorch 的 LLM QAT 流程。先试较低成本路线合理,但不能用“PTQ 绝对主流”代替自己的质量验证。

校准到底在校什么

校准(calibration)不是让模型继续学习答案,而是观察代表性数据经过模型时的数值分布,为量程、scale、zero point、粒度或裁剪阈值提供依据。 权重已经存放在模型里,权重量化可以直接统计权重;激活会随输入变化,静态激活量化通常更依赖代表性校准样本。

把 PTQ 的最小闭环拆成五步,比较容易发现数据泄漏:

  1. 冻结基线: 固定原模型、分词器、提示模板和解码参数。
  2. 准备校准集: 只用有权使用且经过必要脱敏的代表性输入,覆盖语言、长度、典型流量与高风险分组;它用来定量化参数,不用来宣布最终成绩。
  3. 运行观察器: 收集 min/max、直方图或方法需要的层输入统计,再选择 scale、zero point、裁剪阈值和粒度。不同方法并不都只看 min/max。
  4. 生成并加载量化模型: 核对保存格式和推理内核真的采用同一套参数。
  5. 独立验收: 用没有参与校准的评测集比较任务质量、关键分组、时延、吞吐与显存;不合格就调整方案或回退。

裁剪的数字取舍: 仍用上一节的 [0.3,0.2,−0.4,0.5,87.2,0.1]。若把最大绝对值 87.2 全部包进对称 INT8,s≈0.687,0.3 会舍入成 0。若候选阈值改为 1.0,s=1/127≈0.007874,0.3 会编码成 round(38.1)=38,反量化约 0.2992;但 87.2 会被截成约 1.0,误差巨大。校准算法是在“多数值更细”和“尾部值别被截坏”之间选取可验证的折中,不是机械寻找最大值。

激活量化方式scale 何时得到主要取舍
静态量化(static quantization)部署前用校准数据确定并保存运行期开销较低,但校准分布若不代表线上,量程可能不合适
动态量化(dynamic quantization)运行时按当前张量、批次或 token 统计能适应输入变化,但统计和缩放也有运行成本,且仍需独立质量评测

校准集不是测试集。 校准数据可能用于估计范围、选择尺度、衡量输入相关性或重建层输出,不同方法不只是在统计 min/max。

英文百科校准与中文客服流量差异大时,质量可能受影响;但掉分也可能来自位宽、模型结构、实现、提示模板或实际任务,不应未经调查就归因于校准集。

几百条只是一些方法的实验起点,不是充分性保证。使用有权使用、适当脱敏的代表性样本,覆盖语言、长度和关键场景;再用独立评测集验收,不能直接把所有线上日志当可用数据。

权重量化方法与格式

名称 是什么 需要核对什么
GPTQ 用层输入的二阶近似信息重建量化权重 校准数据、分组、位宽及推理内核
AWQ 激活感知的权重量化方法,常见 4bit 配置 当前模型、实现、格式与质量
GGUF / llama.cpp GGUF 是文件格式,llama.cpp 是执行工具,不是同一种量化算法 文件实际采用的量化类型、混合位宽和目标后端
bitsandbytes NF4 非均匀的 4bit 数值格式,见 QLoRA NF4 不等于均匀 INT4;冻结基座与可训练适配器的 dtype 要分别看

量化类型对比

类型 权重 / 激活 潜在收益与限制
W8A16 8bit 权重、16bit 激活 纯权重字节数约为 16bit 的一半;速度仍取决于低精度或反量化内核
W4A16 4bit 权重、16bit 激活 纯权重字节数约为四分之一,另有 scale 等开销;不等于完整服务显存减为四分之一
INT8 W8A8 权重与激活均为 INT8 可利用支持的整数矩阵算子,但还要处理尺度、离群值和质量
FP8 W8A8 权重与激活使用 FP8 格式 原生支持的设备可利用对应算子;精度、格式、粒度及引擎版本仍需匹配

W/A 说明位宽,不完整指定格式;W8A16 的“8”可能是不同整数或浮点方案。

H100 可以把 FP8 纳入候选;A100 也有多种 INT8/INT4 等路径;CPU 可考虑 llama.cpp 支持的格式。机型不是唯一选型条件,也不能由机型直接推出“首选且无损”。 实际支持以 vLLM 量化兼容表 和所用版本为准。

下面只示范参数的区别:三个选项互斥,一次调用只加载一个模型。 需要已安装 vLLM、匹配设备,以及你有权使用且格式匹配的模型路径。定义函数不会下载模型;调用才会加载。

from vllm import LLM

def load_one_quantized_model(model_path, mode):
    # 🧩 配置骨架:model_path 和硬件/版本兼容性由调用者确认
    if mode == "awq":       # model_path 须指向匹配的 AWQ 检查点
        return LLM(model=model_path, quantization="awq")
    if mode == "fp8":       # 核对当前版本支持的 FP8 在线量化路径
        return LLM(model=model_path, quantization="fp8")
    if mode == "fp8_kv":    # 只指定缓存格式,不等于把权重也量化
        return LLM(model=model_path, kv_cache_dtype="fp8")
    raise ValueError("mode 必须是 awq、fp8 或 fp8_kv")

代码中的 FP8 参数和缓存参数不能互相替代;缓存 scale 及 attention 后端另需核对。不要只凭模型名称包含“AWQ”就假定与当前引擎兼容,还要查实际格式和版本支持。


⚠️ 五、质量评估:这一步不能省

能加载、能输出,不代表量化后的质量合格。 不兼容的格式或算子也可能直接报错;“没有报错”只排除了部分实现故障。

按三层检查,并保留相同提示模板、分词、解码参数与评测口径:

  1. 困惑度(PPL):对同一数据和分词口径检查语言建模损失,不代替任务效果。
  2. 下游能力:如数学、代码、问答,用与实际用途相关的基准及分组。
  3. 业务验收:关注关键人群、失败类型、输出约束,并同时测时延、吞吐和显存。

损伤可能因任务而异,但没有“闲聊总不变、数学与代码必然先坏”的排序。PPL 只涨 0.1 也没有统一的通过含义。

# 🧩 评测骨架:模型对象、evaluate 函数和独立测试集由调用者提供
def compare_quality(base, quant, evaluate, my_business_testset):
    results = {}
    for name, model in [("fp16", base), ("awq", quant)]:
        results[name] = evaluate(model, my_business_testset)
        print(name, results[name])
    return results

这里的名字使用 FP16/AWQ 对照,使用其他方案时同步改标签。

200 条评测、人工看 20 条可以是一次初步排查,不是验收门槛。样本量应服务于要检测的差异、风险分组及不确定性。


🧊 六、别忘了 KV Cache 量化

权重量化主要减少与参数规模有关的存储;KV Cache 还随着活动请求数、各请求缓存长度、层数与 KV 头数增长。

不是每个高并发服务都由 KV 占大头,也不是权重与缓存必须一起量化。先量出哪一部分占用较大,再分别评估。

算一次单请求的缓存大小。 假设普通多头注意力,各层尺寸一致,不共享前缀:

$$M_{\mathrm{KV}}=2LH_{\mathrm{KV}}dSb$$

先数元素:2×32×32×128×2048=536,870,912 个。

再乘每元素 2 字节:共 1,073,741,824 字节,即 1 GiB,约 1.074 GB。FP8 的元素存储理想减半,尚未计尺度与缓存管理开销。

理想容量示意 权重 单请求 KV 按总容量 80×10⁹ 字节计算的上限
7B FP16 权重 + FP16 KV 14 GB 1.073741824 GB floor((80−14)/1.073741824)=61
7B INT4 权重 + FP8 KV 3.5 GB 0.536870912 GB floor((80−3.5)/0.536870912)=142

这是忽略其他占用的容量上界,不是可承诺的并发数。 使用未舍入的字节数计算,本例为 61 与 142,约 2.33 倍;不能直接拿它安排线上容量。

实际要留出运行工作区、激活、内存管理和调度余量,并满足延迟目标。使用 GQA/MQA 时,KV 头数不同,不能只看到“7B”就套用同一缓存大小。

FP8 KV 的尺度与支持的 attention 后端需要匹配;是否同时降低 attention 计算精度也与后端有关。见 vLLM 的缓存量化说明。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 4 章 带宽心算的前提与局限
第 15 章 不同推理阶段的瓶颈
第 6 章 计算、存储与累加精度需要分开
第 16 章 KV 的架构、长度和并发账
第 9 章 QLoRA 等训练内存路线
大模型导论 06 从部署目标比较优化方案
模型上线之后 17 量化配置也是新版本,应保留可追溯的评测
推荐算法 10 PQ/OPQ 也在做精度与存储的取舍;压缩倍数依赖维度与码长,不固定为 32 倍

✅ 检查点

  1. 哪些条件下,量化可能明显改善解码?为什么不能泛指全部推理?
  2. BF16→INT4 的 4 倍是什么模型下的比例,不是什么保证?
  3. 量化的三个潜在收益是什么?
  4. 非对称量化里,scale 和 zero point 分别怎样从两个区间得到?zero point 为什么必须是整数?
  5. 为什么同一个矩阵用 per-tensor 时小通道可能归零,而 per-channel 能保留它?这是否保证端到端更快?本章的 Δy=(Ŵ−W)x 依赖什么前提?
  6. 离群值怎样让小值挤进同一个格子?
  7. SmoothQuant 与 AWQ 各在做什么?“1% 显著权重”不能推出什么?
  8. PTQ/QAT、校准集/评测集各有什么区别?
  9. 静态量化和动态量化的 scale 在什么时候得到?裁剪为什么不是越少越好?
  10. W4A16、INT8 W8A8、FP8 W8A8 有什么不同?选型只看 GPU 够吗?
  11. 为什么没有报错也要评测?
  12. 如何核对不同任务和人群的质量?
  13. 权重与 KV 分别怎样占空间?为何不能只看“7B”算并发?
👀 答案
  1. 小批量逐 token 解码、权重读取为主要瓶颈且有合适内核时可能受益;prefill、大批量、长上下文或通信开销可能改变瓶颈。
  2. 是理想纯权重字节数的 1/4、对应权重读取模型下 4 倍速率,不是端到端实测。
  3. 减少权重读取、腾出容量、降低设备容量要求;都需要质量与服务指标验收。
  4. 先用两个区间的跨度相除得到 s=(xmax−xmin)/(qmax−qmin),再令实数 0 对应 z≈qmin−xmin/s。q 是整数编码,所以 z 也要舍入并限制在整数范围;否则 0 没有可保存的整数编码。
  5. per-tensor 的最大值可能把共同 scale 拉大,使小通道的数除以 scale 后不足半格而舍入为 0;per-channel 给各通道独立 scale。它可能减小数值误差,但增加元数据和内核要求,不保证端到端更快或所有任务更准。该误差式只在本例“只替换 W,x 与 b 不变”时成立;激活或偏置也量化时必须计入额外误差项。
  6. 量程变宽使 scale 变大,几个不同的小值舍入后可能相同。
  7. SmoothQuant 在量化前做等价的通道缩放;AWQ 用激活信息选择保护尺度。不能说剩余 99% 没用。
  8. PTQ 在训练后应用量化,QAT 用训练适应量化效应;校准帮助定方案,独立评测验证是否可用。
  9. 静态量化部署前用代表性样本保存 scale;动态量化运行时按当前数据计算。完全不裁剪会让少数极值把格子拉粗,裁剪太多又会让尾部值饱和;应由任务与风险分组验收决定。
  10. 位宽不等于完整格式;还要看算子、模型、版本、任务、质量与实际负载。
  11. 加载成功和文本通顺不证明任务能力没变;实现故障也可能报错。
  12. 固定评测口径,检查独立样本、关键分组与不确定性,不采用通用“200 条就够”门槛。
  13. 权重依赖参数与格式;KV 依赖层数、KV 头数、缓存长度和活动请求等。本例忽略其他占用的上限是 61/142,不是部署承诺。

本节回顾

⚡ 走神救援

下一节 👉 18b-知识蒸馏.md

打卡记录保存在你的浏览器里,首页能看到总进度