AI基础设施 · 18
权重位数减半,服务时延为什么未必减半?
缩短元素表示会改变量程与误差,也需要相应算子支持。位数、文件大小、吞吐和质量要分别核对。
读完能判断:把量程、舍入、离群值、内核支持与质量评估连起来。
📑 本页目录(点开跳转)
18 · 量化
⏱ 32 分钟(原有参考时长,新增推导建议分次读) | ⭐ 少存、少搬,但要实际验证速度与质量
这一章只追四个问题
- 有限个整数格子怎样近似连续数值?
- 为什么同一位宽换一种量程或粒度,误差会完全不同?
- 校准、PTQ 与 QAT 分别在解决哪一步?
- 数值误差怎样传进线性层,最后又该怎样验收任务质量?
🎯 一句话
量化用更少的位数表示数值,可以减少权重或缓存的存储;是否更快,要看当前瓶颈和执行它的算子。
不要先背“INT4 快四倍”。先问:量化的是权重、激活还是 KV Cache?推理引擎是否真的用上低精度格式?你的任务质量能否接受?
📉 一、为什么小批量解码值得先看量化
在小批量、逐 token 解码、权重读取占主要时间时,减少权重搬运量可能很有效。大批量、长上下文、prefill、通信或调度开销占主导时,瓶颈会不同。见 第 15 章。
下面沿用 第 4 章 的心算模型,但把假设写在数字旁边:
- 模型恰好有 70 亿个参数,所有权重使用同一位宽。
- 有效带宽理想化取 2000 GB/s,GB 按十进制计算。
- 每生成一个 token 读取一遍全部权重;忽略缓存复用、KV、计算、反量化、元数据和其他开销。
| 权重格式 | 纯权重字节数 | 2000 GB/s ÷ 纯权重大小 |
|---|---|---|
| BF16,2 字节/参数 | 14 GB | 约 143 token/s |
| INT8,1 字节/参数 | 7 GB | 约 286 token/s |
| INT4,半字节/参数 | 3.5 GB | 约 571 token/s |
看最后一列的比例,不把它当实测吞吐。 理想权重读取时间依次减半,但实际解码不保证按 2 倍、4 倍提速,甚至可能因算子或反量化开销变慢。
量化的三个潜在收益:
- 权重读取更省,可能降低单 token 延迟。
- 腾出显存,可能容纳更多请求或更长上下文。
- 降低部署容量要求,但换硬件后仍需重新核对速度、质量和成本。
训练同样可能受益于低精度计算、通信或存储。不能把“训练最多 BF16/FP8”写成技术上限;QLoRA 等路线使用低比特冻结基座,QAT 则让权重适应量化误差,两者都不等于所有训练状态以相同低位宽计算。
🔢 二、量化的基本原理
先把实数映射到有限整数格子,再用比例尺近似还原。这里的“连续”是直觉说法:计算机里的 FP16/FP32 也只有有限个可表示值;量化只是把可选格子进一步变少。
$$\begin{aligned} q&=\operatorname{clip}\big(\operatorname{round}(x/s)+z,\ q_{\min},q_{\max}\big)\\ \hat{x}&=s(q-z) \end{aligned}$$
- x 是量化前的实数;q 是保存下来的整数编码。
- s 是正的 scale(缩放因子、比例尺):整数相邻一格,对应实数变化多少。
- z 是整数 zero point(零点):实数 0 对应哪个整数编码。
- qmin、qmax 是整数编码的上下界;有符号 INT8 通常有 −128~127 共 256 个编码,但对称方案也常只用 −127~127。
- round 负责舍入;clip 把超出范围的整数截到端点。
- x̂ 读作“x hat”,是反量化后的近似值,通常不等于原来的 x;x̂−x 就是这一次的量化误差。
先从量程推导 scale 与 zero point
为什么公式要同时有 s 和 z?因为我们要让实数区间的两个端点,尽量落到整数区间的两个端点。设参考实数范围是 [xmin, xmax],整数范围是 [qmin, qmax]。下面先假设参考范围包含实数 0;若原始统计范围不含 0,实现通常会扩展范围或把 z 限制到可用整数区间。两个区间分别有 xmax−xmin 与 qmax−qmin 的跨度,所以每一个整数间隔应代表:
$$s=\frac{x_{\max}-x_{\min}}{q_{\max}-q_{\min}}$$
再要求“实数 0 映射到整数 z”。把 x=0 代入未截断的映射 q≈x/s+z,可得 z≈qmin−xmin/s;实现还会把 z 舍入并限制在整数范围内。
完整的非对称 INT8 例子: 假设一组权重的参考范围是 −0.2~0.8,使用 qmin=−128、qmax=127。
- 先算跨度:0.8−(−0.2)=1.0;整数跨度是 127−(−128)=255。
- 得到 s=1.0/255≈0.00392157。也就是整数每走一格,实数约变化 0.00392。
- 计算零点:z=round(−128−(−0.2/0.00392157))=round(−77)=−77。于是实数 0 正好用整数 −77 表示。
- 量化 x=0.28:q=round(0.28/0.00392157)−77=71−77=−6,没有超界,不需要截断。
- 反量化:x̂=0.00392157×(−6−(−77))=0.00392157×71≈0.278431。
- 误差:x̂−x≈0.278431−0.28=−0.001569。负号表示近似值比原值略小。
这个例子里的量程是演示设定,不是模型自动保证的最佳答案。若后续输入跑到 1.2,q 会被 clip 到 127,反量化仍只能得到约 0.8;这叫饱和或截断误差。量程铺得太宽,常见值的格子又会变粗;校准要处理的正是这组取舍。
把同一套步骤写成不依赖第三方库的 Python,公式和代码可以逐行对照:
def quantize_affine(x, x_min=-0.2, x_max=0.8, q_min=-128, q_max=127):
# 两个区间的跨度决定一格有多宽
scale = (x_max - x_min) / (q_max - q_min)
# 先让实数 0 对应某个整数,再把它限制在合法编码内
zero_point = round(q_min - x_min / scale)
zero_point = max(q_min, min(q_max, zero_point))
# 量化:除以格距、舍入、平移、截断
q = round(x / scale) + zero_point
q = max(q_min, min(q_max, q))
# 反量化,并返回这一次的有符号误差
x_hat = scale * (q - zero_point)
return scale, zero_point, q, x_hat, x_hat - x
print(quantize_affine(0.28))
输出约为 (0.00392157, -77, -6, 0.27843137, -0.00156863)。这段代码用于解释步骤,不替代框架实现;不同库可能规定不同的舍入模式、饱和行为和 scale 存储精度,部署时必须以实际算子为准。
一个口径一致的对称 INT8 例子: 使用整数范围 −127~127,z=0,实数参考范围 −0.5~0.5,因此 s=0.5/127≈0.003937。
| 步骤 | 对 x=0.3 的计算 |
|---|---|
| 除以 scale | 0.3 ÷ (0.5/127)=76.2 |
| 舍入与截断 | q=76,仍在范围内 |
| 还原 | x̂=76×0.5/127≈0.299213 |
| 误差 | x̂−x≈−0.000787 |
这里特意不用 −128 这个编码来保持对称。非对称量化可以利用不对称范围,但要相应计算和约束零点,不能把不同方案的 scale 混在同一个例子里。
| 选择 | 含义 | 代价与边界 |
|---|---|---|
| 对称 / 非对称 | 本例 z=0;其他方案允许偏移 | 非对称范围可能减少误差;是否更准、更快取决于分布与算子 |
| per-tensor | 整个张量共用 scale | 元数据少,但跨度差异较大的位置可能互相牵制 |
| per-channel | 不同通道分别定 scale | 通道轴要按当前运算定义 |
| per-group | 如每 128 个权重一组 | 128 只是候选;组越细通常有更多尺度信息,也增加存储和执行开销 |
粒度怎样改变线性层误差
“每通道更细”不能只靠一句定义理解。下面用一个两行权重矩阵做教学用 4bit 心算。把每一行当作一个输出通道,采用对称整数范围 −7~7;真实框架的通道轴由算子和权重布局决定,不能永远假设是行。
$$W=\begin{bmatrix}0.9&-0.8\\0.06&-0.04\end{bmatrix},\qquad x=\begin{bmatrix}2\\1\end{bmatrix}$$
per-tensor: 整个 W 共用 s=0.9/7≈0.128571。第二行的 0.06/s≈0.467、−0.04/s≈−0.311,都舍入为 0,反量化后第二行变成 [0,0]。
per-channel: 第一行仍用 0.9/7;第二行单独用 s2=0.06/7≈0.008571。于是第二行编码为 [7,−5],反量化得到 [0.06,−0.042857],小权重没有全部消失。
现在把误差带进线性层。原始第二个输出是 y2=0.06×2+(−0.04)×1=0.08。per-tensor 结果是 0×2+0×1=0,误差为 −0.08;per-channel 结果是 0.06×2+(−0.042857)×1≈0.077143,误差约 −0.002857。
一般地,设线性层有 n 个输入、m 个输出:权重矩阵 $W\in\mathbb{R}^{m\times n}$,输入向量 $x\in\mathbb{R}^{n}$,偏置 $b\in\mathbb{R}^{m}$,原始输出 $y=Wx+b\in\mathbb{R}^{m}$。量化并反量化后的近似权重记作 $\hat{W}\in\mathbb{R}^{m\times n}$。
本例只量化权重,输入 x 与偏置 b 保持相同。 因此近似输出是 $\hat{y}=\hat{W}x+b$,输出变化 $\Delta y$ 才能化简为:
$$\Delta y=\hat{y}-y=(\hat{W}x+b)-(Wx+b)=(\hat{W}-W)x$$
若输入激活或偏置也被量化,分别记为 $\hat{x}$、$\hat{b}$,并把此时的近似输出记为 $\tilde{y}=\hat{W}\hat{x}+\hat{b}$,那么完整差值可以拆成:
$$\tilde{y}-y=(\hat{W}-W)x+\hat{W}(\hat{x}-x)+(\hat{b}-b)$$
右边三项依次来自权重、激活和偏置。只保留第一项,就等于假设后两项为 0;因此不能把本章的简式直接套到 W8A8 等同时量化权重和激活的方案。
- m、n 分别是输出维度与输入维度;Ŵ−W 是形状仍为 m×n 的权重误差矩阵。
- ŷ 是仅替换权重后的近似输出;Δy=ŷ−y∈Rm 是 m 个输出各自的变化;x 是本次保持不变的输入激活。
- 同一份权重误差遇到更大的激活,输出误差可能被放大;不同项也可能相互抵消,所以不能只看某一个权重。
- 若输入激活或偏置也被量化,就要使用上面的三项分解,不能继续只写 (Ŵ−W)x。
- 这个小例子说明 per-channel 能缓解通道跨度差异,不证明它对所有层、所有内核都更快或端到端质量必然更高。
粒度更细通常能提供更多尺度信息,也会增加 scale 元数据、内核复杂度或执行限制。比较时要保持 zero point、分组方式、模型输入与实际内核一致。
😖 三、离群值:LLM 量化的核心难题
如果少数值把量程拉得很宽,常见的小值会挤在很少几个格子里。 不是所有模型都固定存在“100 倍离群值”,也不是有离群值就必然失效。
以这一组人工数值为例:
| 位置 | 0 | 1 | 2 | 3 | 1024 | 4096 |
|---|---|---|---|---|---|---|
| 值 | 0.3 | 0.2 | −0.4 | 0.5 | 87.2 | 0.1 |
若按最大绝对值做对称 INT8 量化,s=87.2/127≈0.687。于是 0.3/s≈0.437、0.2/s≈0.291,舍入后都变成 0;它们原来的区别丢了。
这个例子解释的是量化误差的来源,不是实际模型精度下降的测量。
| 方法 | 它在处理什么 |
|---|---|
| LLM.int8() | 对某些离群激活维度使用较高精度的混合计算,其他部分使用 INT8 |
| SmoothQuant | 对匹配通道做缩放:激活除以一个因子,权重乘以它;量化前乘积不变,尝试让激活更易量化 |
| AWQ | 利用激活信息识别对量化更敏感的权重/通道,通过尺度选择减小误差 |
“保护约 1% 的显著权重有效”是 AWQ 的实验观察,不是“剩下 99% 权重不重要”。 它也不等于直接把这一小部分全部保留成 FP16。对照 AWQ 原论文。
SmoothQuant 的等价性发生在量化前;量化后仍有误差与权重/激活之间的折中。见 SmoothQuant 原论文。
🧰 四、主流方法怎么选
先分清两条路:PTQ 和 QAT
PTQ 不通过常规量化感知训练来适应权重;QAT 则在训练中模拟或引入量化效应。 两条路线都可能用于 LLM,不能说 QAT 已经没有用处。
| 比较 | PTQ(训练后量化) | QAT(量化感知训练) |
|---|---|---|
| 起点 | 已训练模型,应用选定量化方法 | 已有模型微调或训练流程中加入量化模拟 |
| 数据需求 | 因方法而异;静态校准常需代表性样本,某些动态方法不需预先校准集 | 需要适配任务的数据、训练目标与更新流程,不必拿到原始预训练全集 |
| 计算成本 | 取决于模型大小、方法与设备,不保证一张卡或几十分钟 | 增加训练成本,但不等于必须从头预训练整个模型 |
| 质量判断 | INT4 不保证无损 | 可能恢复部分量化损失,低比特下也不保证成功 |
可对照 PyTorch 的 LLM QAT 流程。先试较低成本路线合理,但不能用“PTQ 绝对主流”代替自己的质量验证。
校准到底在校什么
校准(calibration)不是让模型继续学习答案,而是观察代表性数据经过模型时的数值分布,为量程、scale、zero point、粒度或裁剪阈值提供依据。 权重已经存放在模型里,权重量化可以直接统计权重;激活会随输入变化,静态激活量化通常更依赖代表性校准样本。
把 PTQ 的最小闭环拆成五步,比较容易发现数据泄漏:
- 冻结基线: 固定原模型、分词器、提示模板和解码参数。
- 准备校准集: 只用有权使用且经过必要脱敏的代表性输入,覆盖语言、长度、典型流量与高风险分组;它用来定量化参数,不用来宣布最终成绩。
- 运行观察器: 收集 min/max、直方图或方法需要的层输入统计,再选择 scale、zero point、裁剪阈值和粒度。不同方法并不都只看 min/max。
- 生成并加载量化模型: 核对保存格式和推理内核真的采用同一套参数。
- 独立验收: 用没有参与校准的评测集比较任务质量、关键分组、时延、吞吐与显存;不合格就调整方案或回退。
裁剪的数字取舍: 仍用上一节的 [0.3,0.2,−0.4,0.5,87.2,0.1]。若把最大绝对值 87.2 全部包进对称 INT8,s≈0.687,0.3 会舍入成 0。若候选阈值改为 1.0,s=1/127≈0.007874,0.3 会编码成 round(38.1)=38,反量化约 0.2992;但 87.2 会被截成约 1.0,误差巨大。校准算法是在“多数值更细”和“尾部值别被截坏”之间选取可验证的折中,不是机械寻找最大值。
| 激活量化方式 | scale 何时得到 | 主要取舍 |
|---|---|---|
| 静态量化(static quantization) | 部署前用校准数据确定并保存 | 运行期开销较低,但校准分布若不代表线上,量程可能不合适 |
| 动态量化(dynamic quantization) | 运行时按当前张量、批次或 token 统计 | 能适应输入变化,但统计和缩放也有运行成本,且仍需独立质量评测 |
校准集不是测试集。 校准数据可能用于估计范围、选择尺度、衡量输入相关性或重建层输出,不同方法不只是在统计 min/max。
英文百科校准与中文客服流量差异大时,质量可能受影响;但掉分也可能来自位宽、模型结构、实现、提示模板或实际任务,不应未经调查就归因于校准集。
几百条只是一些方法的实验起点,不是充分性保证。使用有权使用、适当脱敏的代表性样本,覆盖语言、长度和关键场景;再用独立评测集验收,不能直接把所有线上日志当可用数据。
权重量化方法与格式
| 名称 | 是什么 | 需要核对什么 |
|---|---|---|
| GPTQ | 用层输入的二阶近似信息重建量化权重 | 校准数据、分组、位宽及推理内核 |
| AWQ | 激活感知的权重量化方法,常见 4bit 配置 | 当前模型、实现、格式与质量 |
| GGUF / llama.cpp | GGUF 是文件格式,llama.cpp 是执行工具,不是同一种量化算法 | 文件实际采用的量化类型、混合位宽和目标后端 |
| bitsandbytes NF4 | 非均匀的 4bit 数值格式,见 QLoRA | NF4 不等于均匀 INT4;冻结基座与可训练适配器的 dtype 要分别看 |
量化类型对比
| 类型 | 权重 / 激活 | 潜在收益与限制 |
|---|---|---|
| W8A16 | 8bit 权重、16bit 激活 | 纯权重字节数约为 16bit 的一半;速度仍取决于低精度或反量化内核 |
| W4A16 | 4bit 权重、16bit 激活 | 纯权重字节数约为四分之一,另有 scale 等开销;不等于完整服务显存减为四分之一 |
| INT8 W8A8 | 权重与激活均为 INT8 | 可利用支持的整数矩阵算子,但还要处理尺度、离群值和质量 |
| FP8 W8A8 | 权重与激活使用 FP8 格式 | 原生支持的设备可利用对应算子;精度、格式、粒度及引擎版本仍需匹配 |
W/A 说明位宽,不完整指定格式;W8A16 的“8”可能是不同整数或浮点方案。
H100 可以把 FP8 纳入候选;A100 也有多种 INT8/INT4 等路径;CPU 可考虑 llama.cpp 支持的格式。机型不是唯一选型条件,也不能由机型直接推出“首选且无损”。 实际支持以 vLLM 量化兼容表 和所用版本为准。
下面只示范参数的区别:三个选项互斥,一次调用只加载一个模型。 需要已安装 vLLM、匹配设备,以及你有权使用且格式匹配的模型路径。定义函数不会下载模型;调用才会加载。
from vllm import LLM
def load_one_quantized_model(model_path, mode):
# 🧩 配置骨架:model_path 和硬件/版本兼容性由调用者确认
if mode == "awq": # model_path 须指向匹配的 AWQ 检查点
return LLM(model=model_path, quantization="awq")
if mode == "fp8": # 核对当前版本支持的 FP8 在线量化路径
return LLM(model=model_path, quantization="fp8")
if mode == "fp8_kv": # 只指定缓存格式,不等于把权重也量化
return LLM(model=model_path, kv_cache_dtype="fp8")
raise ValueError("mode 必须是 awq、fp8 或 fp8_kv")
代码中的 FP8 参数和缓存参数不能互相替代;缓存 scale 及 attention 后端另需核对。不要只凭模型名称包含“AWQ”就假定与当前引擎兼容,还要查实际格式和版本支持。
⚠️ 五、质量评估:这一步不能省
能加载、能输出,不代表量化后的质量合格。 不兼容的格式或算子也可能直接报错;“没有报错”只排除了部分实现故障。
按三层检查,并保留相同提示模板、分词、解码参数与评测口径:
- 困惑度(PPL):对同一数据和分词口径检查语言建模损失,不代替任务效果。
- 下游能力:如数学、代码、问答,用与实际用途相关的基准及分组。
- 业务验收:关注关键人群、失败类型、输出约束,并同时测时延、吞吐和显存。
损伤可能因任务而异,但没有“闲聊总不变、数学与代码必然先坏”的排序。PPL 只涨 0.1 也没有统一的通过含义。
# 🧩 评测骨架:模型对象、evaluate 函数和独立测试集由调用者提供
def compare_quality(base, quant, evaluate, my_business_testset):
results = {}
for name, model in [("fp16", base), ("awq", quant)]:
results[name] = evaluate(model, my_business_testset)
print(name, results[name])
return results
这里的名字使用 FP16/AWQ 对照,使用其他方案时同步改标签。
200 条评测、人工看 20 条可以是一次初步排查,不是验收门槛。样本量应服务于要检测的差异、风险分组及不确定性。
🧊 六、别忘了 KV Cache 量化
权重量化主要减少与参数规模有关的存储;KV Cache 还随着活动请求数、各请求缓存长度、层数与 KV 头数增长。
不是每个高并发服务都由 KV 占大头,也不是权重与缓存必须一起量化。先量出哪一部分占用较大,再分别评估。
算一次单请求的缓存大小。 假设普通多头注意力,各层尺寸一致,不共享前缀:
$$M_{\mathrm{KV}}=2LH_{\mathrm{KV}}dSb$$
- M 是这一个请求的 KV 元素字节数;开头的 2 表示 K 和 V。
- L=32 层,H_KV=32 个 KV 头,每头 d=128 维。
- S=2048 个已缓存 token;FP16 每元素 b=2 字节。
先数元素:2×32×32×128×2048=536,870,912 个。
再乘每元素 2 字节:共 1,073,741,824 字节,即 1 GiB,约 1.074 GB。FP8 的元素存储理想减半,尚未计尺度与缓存管理开销。
| 理想容量示意 | 权重 | 单请求 KV | 按总容量 80×10⁹ 字节计算的上限 |
|---|---|---|---|
| 7B FP16 权重 + FP16 KV | 14 GB | 1.073741824 GB | floor((80−14)/1.073741824)=61 |
| 7B INT4 权重 + FP8 KV | 3.5 GB | 0.536870912 GB | floor((80−3.5)/0.536870912)=142 |
这是忽略其他占用的容量上界,不是可承诺的并发数。 使用未舍入的字节数计算,本例为 61 与 142,约 2.33 倍;不能直接拿它安排线上容量。
实际要留出运行工作区、激活、内存管理和调度余量,并满足延迟目标。使用 GQA/MQA 时,KV 头数不同,不能只看到“7B”就套用同一缓存大小。
FP8 KV 的尺度与支持的 attention 后端需要匹配;是否同时降低 attention 计算精度也与后端有关。见 vLLM 的缓存量化说明。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 4 章 | 带宽心算的前提与局限 |
| 第 15 章 | 不同推理阶段的瓶颈 |
| 第 6 章 | 计算、存储与累加精度需要分开 |
| 第 16 章 | KV 的架构、长度和并发账 |
| 第 9 章 | QLoRA 等训练内存路线 |
| 大模型导论 06 | 从部署目标比较优化方案 |
| 模型上线之后 17 | 量化配置也是新版本,应保留可追溯的评测 |
| 推荐算法 10 | PQ/OPQ 也在做精度与存储的取舍;压缩倍数依赖维度与码长,不固定为 32 倍 |
✅ 检查点
- 哪些条件下,量化可能明显改善解码?为什么不能泛指全部推理?
- BF16→INT4 的 4 倍是什么模型下的比例,不是什么保证?
- 量化的三个潜在收益是什么?
- 非对称量化里,scale 和 zero point 分别怎样从两个区间得到?zero point 为什么必须是整数?
- 为什么同一个矩阵用 per-tensor 时小通道可能归零,而 per-channel 能保留它?这是否保证端到端更快?本章的 Δy=(Ŵ−W)x 依赖什么前提?
- 离群值怎样让小值挤进同一个格子?
- SmoothQuant 与 AWQ 各在做什么?“1% 显著权重”不能推出什么?
- PTQ/QAT、校准集/评测集各有什么区别?
- 静态量化和动态量化的 scale 在什么时候得到?裁剪为什么不是越少越好?
- W4A16、INT8 W8A8、FP8 W8A8 有什么不同?选型只看 GPU 够吗?
- 为什么没有报错也要评测?
- 如何核对不同任务和人群的质量?
- 权重与 KV 分别怎样占空间?为何不能只看“7B”算并发?
👀 答案
- 小批量逐 token 解码、权重读取为主要瓶颈且有合适内核时可能受益;prefill、大批量、长上下文或通信开销可能改变瓶颈。
- 是理想纯权重字节数的 1/4、对应权重读取模型下 4 倍速率,不是端到端实测。
- 减少权重读取、腾出容量、降低设备容量要求;都需要质量与服务指标验收。
- 先用两个区间的跨度相除得到 s=(xmax−xmin)/(qmax−qmin),再令实数 0 对应 z≈qmin−xmin/s。q 是整数编码,所以 z 也要舍入并限制在整数范围;否则 0 没有可保存的整数编码。
- per-tensor 的最大值可能把共同 scale 拉大,使小通道的数除以 scale 后不足半格而舍入为 0;per-channel 给各通道独立 scale。它可能减小数值误差,但增加元数据和内核要求,不保证端到端更快或所有任务更准。该误差式只在本例“只替换 W,x 与 b 不变”时成立;激活或偏置也量化时必须计入额外误差项。
- 量程变宽使 scale 变大,几个不同的小值舍入后可能相同。
- SmoothQuant 在量化前做等价的通道缩放;AWQ 用激活信息选择保护尺度。不能说剩余 99% 没用。
- PTQ 在训练后应用量化,QAT 用训练适应量化效应;校准帮助定方案,独立评测验证是否可用。
- 静态量化部署前用代表性样本保存 scale;动态量化运行时按当前数据计算。完全不裁剪会让少数极值把格子拉粗,裁剪太多又会让尾部值饱和;应由任务与风险分组验收决定。
- 位宽不等于完整格式;还要看算子、模型、版本、任务、质量与实际负载。
- 加载成功和文本通顺不证明任务能力没变;实现故障也可能报错。
- 固定评测口径,检查独立样本、关键分组与不确定性,不采用通用“200 条就够”门槛。
- 权重依赖参数与格式;KV 依赖层数、KV 头数、缓存长度和活动请求等。本例忽略其他占用的上限是 61/142,不是部署承诺。
本节回顾
⚡ 走神救援
- 量化先省字节,是否提速还看瓶颈和算子。
- scale 决定格距,zero point 决定 0 放在哪;粒度决定多少数共用一把尺。
- 本章的线性层误差式只量化权重;若激活或偏置也量化,还要加上它们造成的误差。
- 校准负责选量程与参数,不是最终验收;自己的关键任务和人群仍要单独测试。
- 权重与 KV 分开算,容量上界不等于可用并发。
下一节 👉 18b-知识蒸馏.md