06 · 推理优化:先弄清瓶颈,再省显存
⏱ 22 分钟 | ⭐ 自建部署省钱最大的杠杆,就从这两件事开始
🎯 一句话
推理优化解决一个矛盾:模型很大,显存很贵,用户很急。 这一页先解决前两件事 —— 搞清楚瓶颈在哪,然后用量化把模型压小、用批处理把卡榨满。 ⭐ 降延迟那一半(投机解码、缓存、指标怎么权衡)在下一页。
🧠 先理解瓶颈在哪:两个阶段
操作步骤
先测瓶颈:小批量 decode 常受权重与 KV 读写限制;批量、上下文、模型结构与硬件会改变算术强度。不能仅凭阶段名称判断算力一定空转。
先记录请求长度、批量和硬件,再比较优化前后的显存、延迟与吞吐。
💡 顺带把一件事说清楚:Decode 每一步吐出来的其实是一个概率分布,不是一个词。
从分布里挑出那一个词的规则叫解码策略——你天天在调的 temperature / top_p 就在那一步。
它和"跑得快"是两个观察角度,但会相互影响,所以单独成章:06b · 解码策略。
这一章只管速度和成本,看到"输出飘/复读"这类问题就该去那一章。
🗜️ 武器一:量化(Quantization)
思路:权重本来用 16 位浮点存,改成 8 位甚至 4 位整数。
信息关系
量化减少表示精度,有些配置能在特定任务上保留较好质量。不存在通用的“只掉 1–3%”;必须同时比较任务质量、延迟、吞吐和峰值显存。
主流方案速查:
| 方案 | 特点 | 场景 |
|---|---|---|
| GGUF(llama.cpp) | 模型文件格式,可承载不同量化类型;不是单一量化算法 | 本地跑、Mac、消费级设备 ⭐ |
| AWQ | 激活感知,保护重要权重 | GPU 服务,质量好 |
| GPTQ | 逐层校准量化 | GPU 服务,经典方案 |
| FP8 | 新硬件原生支持 | 支持相应 FP8 算子与格式的硬件/后端;查兼容表 |
⚠️ 注意:量化省的是显存和带宽(是否加速还取决于解量化和内核),不一定省计算。而且 KV Cache 也可以单独量化——长上下文时这个收益很大。
⚠️ 量化的三个真实代价(别只看省显存)
| 代价 | 说明 |
|---|---|
| 部分能力可能更敏感 ⭐ | 平均分可能掩盖局部退化;分任务检查数学、代码、多语言与长上下文,不设固定损失比例。 |
| 量化后必须重测 | 别信"官方说损失很小"——用你自己的评测集测一遍(第 11 章) |
| 不同任务敏感度差很多 | 敏感程度依模型、位宽、数据与实现而变,需分任务比较。 |
🔑 一条实用的选择规则: 先测未量化基线;再比较可用的 8 位配置;需要更小权重时比较 4 位配置。 量化是"为了能跑"的妥协,不是"免费的优化"。
🧮 显存怎么估(部署前先算这一笔)
算一算
总显存 ≈ 模型权重 + KV Cache + 激活/框架开销
模型权重 = 参数量 × 每参数字节数
FP16 = 2 字节,INT8 = 1,INT4 = 0.5
7B FP16 → 14GB;7B INT4 → 3.5GB
KV Cache = 2 × 层数 × KV头数 × 头维度 × 序列长 × batch × 精度字节
(2.62MB/token 只对应 80层、64KV头、128头维、FP16、batch1 的 MHA 算例)
工作区、激活与框架开销依实现/批量/长度测量,不设固定比例
⭐ 最常见的翻车:只算了权重,没算 KV Cache
→ "3.5GB 的模型怎么在 8GB 卡上 OOM 了"
📦 武器二:批处理(提升吞吐)
当 decode 主要受权重读取限制时,那就搬一次权重,同时给多个用户算——这是吞吐提升的关键。
结果对照
PagedAttention:借鉴操作系统的虚拟内存
信息关系
PagedAttention 的论文报告了特定负载下的吞吐改善;它减少 KV 碎片并支持共享,不承诺任意硬件和请求都快固定倍数。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| AI基础设施 18 · 量化 | ⭐ 武器一的完整展开:为什么会掉点、离群值才是根因、什么时候干脆别量化 |
| AI基础设施 17 · 连续批处理与PagedAttention | 武器二的完整展开:块表、写时复制、抢占,以及连续批处理和静态批处理到底差在哪 |
| AI基础设施 16 · KV Cache | 「估显存最容易漏掉 KV Cache」那一条的正题:它到底有多大,以及 GQA / MQA 怎么砍 |
✅ 检查点
- Prefill 和 Decode 各自的瓶颈是什么?为什么这个区别重要?
- 4bit 量化把 70B 模型从多少压到多少?主要省的是什么?
- 量化的三个真实代价是什么?什么任务对量化最敏感?选择规则是什么?
- 估部署显存时最容易漏掉什么?
- 连续批处理比静态批处理好在哪?
👀 答案
- Prefill 处理输入,decode 继续生成;长输入 prefill 常偏计算密集,小批量 decode 常受访存限制。实际瓶颈取决于模型、长度、批量和硬件,TTFT 还包括排队等开销。
- 140GB → 35GB。主要省的是显存和带宽(不保证每种实现都加速),不一定省计算。
- 量化需分任务检查质量退化,比较真实延迟/吞吐,并核验后端兼容性;不存在固定损失百分比或通用最敏感任务。
- KV Cache。最常见的翻车是「3.5GB 的模型怎么在 8GB 卡上 OOM 了」—— 只算了权重没算它。
- 静态批处理要等最长的那个请求结束,短请求占着位置空转;连续批处理谁答完谁下车,空位立刻补新请求。
本节回顾
读到这里,你已经能回答「这个模型能不能塞进我这张卡」和「怎么把卡榨满」这两个问题 —— 对自建部署来说这就是最小闭环。
⚠️ 什么时候回来看下一页:显存够了、吞吐也够了,但用户还是觉得慢。那是延迟问题,不是容量问题,解法在下一页。
⚡ 走神救援
先记住这几件事
- 先区分处理输入的 Prefill 与逐词生成的 Decode,再测各自的瓶颈。
- 量化减少权重占用,批处理和缓存管理改善资源利用,但收益取决于实际负载。
- 显存还要计算 KV Cache 和运行开销;优化后重新检查任务质量。
下一节 👉 06d-降延迟与三个指标.md