🏠 总目录📚 本教程 06 · 推理优化:省显存 ← →

大模型全景导论 / 06

首字慢、逐字慢、显存满,应该先查哪一笔账?

先分prefill/decode瓶颈,再看量化、KV预算、批处理和分页各改变的对象。

📑 本页目录(点开跳转)

06 · 推理优化:先弄清瓶颈,再省显存

⏱ 22 分钟 | ⭐ 自建部署省钱最大的杠杆,就从这两件事开始


🎯 一句话

推理优化解决一个矛盾:模型很大,显存很贵,用户很急。 这一页先解决前两件事 —— 搞清楚瓶颈在哪,然后用量化把模型压小、用批处理把卡榨满。 ⭐ 降延迟那一半(投机解码、缓存、指标怎么权衡)在下一页。


🧠 先理解瓶颈在哪:两个阶段

操作步骤

① Prefill(预填充)—— 处理你的输入提示词
所有 token 可以并行算→长输入时常偏计算密集,仍需测量
全注意力有关于长度的二次项;耗时需测量
影响首 token 延迟 TTFT;还包括排队等开销
② Decode(解码)—— 一个一个吐出回答
每请求通常生成 1 个 token;需要读取相关权重与 KV
小批量时常受访存限制;大批量/长缓存可能改变瓶颈
决定了「每输出 token 时间 TPOT」

先测瓶颈:小批量 decode 常受权重与 KV 读写限制;批量、上下文、模型结构与硬件会改变算术强度。不能仅凭阶段名称判断算力一定空转。

先记录请求长度、批量和硬件,再比较优化前后的显存、延迟与吞吐。

💡 顺带把一件事说清楚:Decode 每一步吐出来的其实是一个概率分布,不是一个词。 从分布里挑出那一个词的规则叫解码策略——你天天在调的 temperature / top_p 就在那一步。 它和"跑得快"是两个观察角度,但会相互影响,所以单独成章:06b · 解码策略。 这一章只管速度和成本,看到"输出飘/复读"这类问题就该去那一章。


🗜️ 武器一:量化(Quantization)

思路:权重本来用 16 位浮点存,改成 8 位甚至 4 位整数。

信息关系

FP16 (16bit)→INT8 (8bit)→INT4 (4bit)
理想权重存储:100% / 50% / 25%
7B 模型:14GB→7GB→3.5GB (仅权重理论值)
70B 模型:140GB→70GB→35GB (另计元数据、KV 与工作区)

量化减少表示精度,有些配置能在特定任务上保留较好质量。不存在通用的“只掉 1–3%”;必须同时比较任务质量、延迟、吞吐和峰值显存。

主流方案速查:

方案 特点 场景
GGUF(llama.cpp) 模型文件格式,可承载不同量化类型;不是单一量化算法 本地跑、Mac、消费级设备 ⭐
AWQ 激活感知,保护重要权重 GPU 服务,质量好
GPTQ 逐层校准量化 GPU 服务,经典方案
FP8 新硬件原生支持 支持相应 FP8 算子与格式的硬件/后端;查兼容表

⚠️ 注意:量化省的是显存和带宽(是否加速还取决于解量化和内核),不一定省计算。而且 KV Cache 也可以单独量化——长上下文时这个收益很大。

⚠️ 量化的三个真实代价(别只看省显存)

代价 说明
部分能力可能更敏感 ⭐ 平均分可能掩盖局部退化;分任务检查数学、代码、多语言与长上下文,不设固定损失比例。
量化后必须重测 别信"官方说损失很小"——用你自己的评测集测一遍(第 11 章)
不同任务敏感度差很多 敏感程度依模型、位宽、数据与实现而变,需分任务比较。

🔑 一条实用的选择规则: 先测未量化基线;再比较可用的 8 位配置;需要更小权重时比较 4 位配置。 量化是"为了能跑"的妥协,不是"免费的优化"。

🧮 显存怎么估(部署前先算这一笔)

算一算

总显存 ≈ 模型权重 + KV Cache + 激活/框架开销

模型权重 = 参数量 × 每参数字节数

FP16 = 2 字节,INT8 = 1,INT4 = 0.5

7B FP16 → 14GB;7B INT4 → 3.5GB

KV Cache = 2 × 层数 × KV头数 × 头维度 × 序列长 × batch × 精度字节

(2.62MB/token 只对应 80层、64KV头、128头维、FP16、batch1 的 MHA 算例)

工作区、激活与框架开销依实现/批量/长度测量,不设固定比例

⭐ 最常见的翻车:只算了权重,没算 KV Cache

→ "3.5GB 的模型怎么在 8GB 卡上 OOM 了"

KV Cache为什么随长度和并发增长? 标准全注意力、未压缩KV的理论张量字节数。假设32层、8个KV头、每头128维、每元素2字节。K和V各一份。batch为1、缓存1024 token时为134217728字节,即128 MiB;4096 token时512 MiB;四条相同长度4096 token的序列为2048 MiB,即2 GiB。条形长度按MiB成比例。仅计算KV,不含权重、激活、分配器与框架开销,不能当作整机实测。 缓存为什么会越占越多?全注意力 · 未压缩 KV · 理论值先把结构和精度写出来32 层 · 8 个 KV 头每头 128 维 · 每元素 2 字节K 与 V 各存一份(×2)缓存字节 =2 × 32 × 8 × 128× token 数 × batch × 2① 1 条序列 · 1024 token128 MiB② 长度 ×4 → 4096 token512 MiB(batch = 1)③ 再并发 4 条同长度序列2048 MiB = 2 GiB条长按 MiB 比例;batch 表示序列数。只算 KV,还没有算权重。激活、框架、分配开销需另留预算。1 MiB = 2²⁰ B;1 GiB = 2³⁰ B
未压缩、全注意力 KV 的理论张量预算:32 层、8 个 KV 头、每头 128 维、每元素 2 字节。1024 token、batch=1 时为 128 MiB;长度×4 得 512 MiB,再并发4条同长度序列得2 GiB。这里只算 KV,权重与运行开销另计;滑窗、量化、分页预留、共享前缀需按具体实现核算。 机制来源:Hugging Face: How caching works Hugging Face: Cache strategies。

📦 武器二:批处理(提升吞吐)

当 decode 主要受权重读取限制时,那就搬一次权重,同时给多个用户算——这是吞吐提升的关键。

结果对照

❌ 静态批处理:等 8 个请求凑齐一起跑
问题:有的请求 10 字就答完,有的要 1000 字
短的必须干等长的,GPU 大量空转
✅ 连续批处理 (Continuous Batching) ⭐ vLLM 的核心
谁答完谁下车,新请求立刻上车
吞吐收益需在相同模型与请求负载下测量

PagedAttention:借鉴操作系统的虚拟内存

信息关系

问题:KV Cache 要预留最大长度的显存,但实际用不了那么多
大量显存浪费(碎片化),能同时服务的用户数被限制
解法:像操作系统管理内存页一样,把 KV Cache 切成小块按需分配
显存利用率大幅提升→能塞下更多并发用户

PagedAttention 的论文报告了特定负载下的吞吐改善;它减少 KV 碎片并支持共享,不承诺任意硬件和请求都快固定倍数。


🔗 想再深一层,去哪一套

去哪 为什么
AI基础设施 18 · 量化 ⭐ 武器一的完整展开:为什么会掉点、离群值才是根因、什么时候干脆别量化
AI基础设施 17 · 连续批处理与PagedAttention 武器二的完整展开:块表、写时复制、抢占,以及连续批处理和静态批处理到底差在哪
AI基础设施 16 · KV Cache 「估显存最容易漏掉 KV Cache」那一条的正题:它到底有多大,以及 GQA / MQA 怎么砍

✅ 检查点

  1. Prefill 和 Decode 各自的瓶颈是什么?为什么这个区别重要?
  2. 4bit 量化把 70B 模型从多少压到多少?主要省的是什么?
  3. 量化的三个真实代价是什么?什么任务对量化最敏感?选择规则是什么?
  4. 估部署显存时最容易漏掉什么?
  5. 连续批处理比静态批处理好在哪?
👀 答案
  1. Prefill 处理输入,decode 继续生成;长输入 prefill 常偏计算密集,小批量 decode 常受访存限制。实际瓶颈取决于模型、长度、批量和硬件,TTFT 还包括排队等开销。
  2. 140GB → 35GB。主要省的是显存和带宽(不保证每种实现都加速),不一定省计算。
  3. 量化需分任务检查质量退化,比较真实延迟/吞吐,并核验后端兼容性;不存在固定损失百分比或通用最敏感任务。
  4. KV Cache。最常见的翻车是「3.5GB 的模型怎么在 8GB 卡上 OOM 了」—— 只算了权重没算它。
  5. 静态批处理要等最长的那个请求结束,短请求占着位置空转;连续批处理谁答完谁下车,空位立刻补新请求。

本节回顾

读到这里,你已经能回答「这个模型能不能塞进我这张卡」和「怎么把卡榨满」这两个问题 —— 对自建部署来说这就是最小闭环。

⚠️ 什么时候回来看下一页:显存够了、吞吐也够了,但用户还是觉得慢。那是延迟问题,不是容量问题,解法在下一页。

⚡ 走神救援

先记住这几件事

  • 先区分处理输入的 Prefill 与逐词生成的 Decode,再测各自的瓶颈。
  • 量化减少权重占用,批处理和缓存管理改善资源利用,但收益取决于实际负载。
  • 显存还要计算 KV Cache 和运行开销;优化后重新检查任务质量。

下一节 👉 06d-降延迟与三个指标.md

原始资料:PagedAttention · QLoRA(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度