AI 基础设施 · 复用计算,也要支付容量
复用了前缀计算,为什么显存反而不够了?
固定参数和一致前缀规则下,旧 K/V 可以复用;它们也会随着上下文与并发占据显存,容量上界还不等于满足延迟目标的并发。
读完能判断:说明缓存复用的前提,区分被省掉的计算与新增的容量,并读懂容量函数的上界。
📑 本页目录(点开跳转)
16 · KV Cache
⏱ 52 分钟 | ⭐ 可能成为最大的动态显存开销之一
🎯 一句话
固定参数的自回归生成中,不复用 KV 会重复处理前缀;缓存能减少其中的重复计算。 缓存也会随上下文与并发占用显存,并非固定“一半”。 这是推理引擎需要权衡的核心问题之一。
🔁 一、为什么需要它
结果对照
对照
第 3 步生成时:
Q: 只有当前 token 的 [q₃]
K: 缓存的 + 新的 [k₁ k₂ | k₃] ← 前两个是缓存的
V: 缓存的 + 新的 [v₁ v₂ | v₃]
attention(q₃, [k₁k₂k₃], [v₁v₂v₃])
🔑 为什么只缓存 K 和 V,不缓存 Q: 因为 Q 只用一次(当前 token 查询),而 K、V 会被后面所有 token 反复用到。
先把一层里的 Q、K、V 看成三种不同任务
先不用背矩阵。处理第 t 个 token 时,查询向量(Query,Q)表示“当前位置要找什么”;
键向量(Key,K)表示“每个旧位置可以按什么特征被匹配”;
值向量(Value,V)表示“匹配到后真正取回什么信息”。这是帮助建立直觉的类比,真实机制仍是下面的点积和加权求和。
当前 token 的查询只在本步使用:
$$\operatorname{Attention}(q_t,K_{1:t},V_{1:t})= \operatorname{softmax}\!\left(\frac{q_tK_{1:t}^{T}}{\sqrt{d_{head}}}\right)V_{1:t}$$
t是当前生成到的位置,1:t表示从第 1 个位置到当前位置。q_t是当前位置的一条查询;K_{1:t}和V_{1:t}包含所有已处理位置。d_head是每个注意力头的维度;除以√d_head是缩放点积,避免维度变大时分数幅度失控。softmax把匹配分数变成权重,再用这些权重对 V 做加权求和。
缓存什么:每一层、每个已处理位置的 K 和 V。不属于 KV Cache 的:模型权重、只服务当前步的 Q,以及算完本步即可释放的临时激活/工作区。它们也占显存,但不能混进 KV 容量公式。
先记住边界:推理缓存复用的是相同条件下先前位置的 K/V;常规训练还要计算整段因果损失、保留反向所需信息并更新参数,不能把它直接当成增量生成。缓存减少重复计算,却不把所有注意力都变成线性,也不保证吞吐按显存压缩比增长。理解这几点即可继续读容量公式;细节可展开。
深入:训练、Prefill 与 Decode 的缓存前提(可跳过)
| 阶段 | 怎么计算 | 复用边界 |
|---|---|---|
| 常规 teacher-forcing 训练 | 已知整段输入,用因果 mask 计算各位置的下一 token 损失;位置可并行计算,随后反向与参数更新。 | 反向图/激活不是推理 KV Cache 的同义词;参数更新后,旧参数产生的 K/V 不能无条件作为新参数的精确缓存。 |
| Prefill | 推理时并行处理输入前缀,并产生各层的 K/V。 | 只有命中相同模型、前缀及位置/掩码/推理配置时才可复用已有前缀;未命中部分仍需计算。 |
| 增量 Decode | 处理新位置,计算它的 Q/K/V;新 query 仍需访问已有 K/V。 | 权重固定且前缀规则一致才复用旧位置。长上下文仍带来 KV 读写、注意力与容量代价。 |
3 个位置到第 4 个位置:prefill 后已有 K/V 的位置 1..3。随后处理新输入位置 4 时,拼入 K₄、V₄,用 Q₄ 查询位置 1..4;不是把旧 query 再缓存一份。训练则可用输入位置 1..3 的因果输出同时预测位置 2..4,不能让位置 1 偷看后面的输入。
元素容量手算(教学假设):B=1、2 层、2 个 KV 头、head_dim=4、每元素 2 字节。3 个位置:2(K/V)×2×2×4×3×1×2=192 字节;4 个位置为 256 字节。这里不含布局、分配器、量化尺度和工作区,也不是显存或速度实测。
复杂度要分项:固定模型宽度、累计生成 n 个位置时,不复用前缀使投影/MLP 重复处理的 token 数约为 O(n²);复用后这部分累计为 O(n)。全量因果注意力中,新 query 每步仍查询增长的前缀,累计仍为 O(n²);KV 元素容量随序列长度为 O(n)。有固定输入前缀时,还要把其长度计入,不能拿一个 O(n) 概括全部生成成本。
吞吐与延迟一起看:扩大 batch 可摊薄权重搬运,也增加 KV/计算/排队压力。对齐模型、输入/输出长度分布、精度与并发后,同时观察总 tokens/s、TTFT/TPOT 的分位数与内存;缓存量化还可能因额外开销使短上下文延迟变差。容量上界不等于满足 SLO 的并发。
vLLM/PagedAttention 的注意点:分页是 K/V 的分块存储与访问管理,不等于把注意力内容变稀疏。具体模型、dtype、块管理和前缀缓存支持依版本而定;KV 紧张时应看抢占/重算及尾延迟,不能只把 batch 调到“刚好能装下”。机制与调度已有 第 17 章,阶段与指标见 第 15 章,这里不重复实现教程。
本段限定常规 decoder 训练与推理;冻结前缀、流式/循环训练或专门缓存方案须另列假设,不能扩成“任何训练都不允许缓存任何东西”。依据:Transformer 原论文、Transformers 缓存说明、缓存策略、vLLM 分页注意力、vLLM V1 调优条件示例。本段没有运行模型或性能实验。
💸 二、它有多大
现在的问题不是“KV 大不大”,而是“这些维度各增加一倍,显存会怎样变”。 一条 K 或 V 需要覆盖所有层、所有同时驻留的请求、每个已处理 token、每个 KV 头和头内全部数字;K、V 各一份,所以最前面乘 2。
当一个批次里的请求都按相同长度 T 估算时:
$$M_{KV}=2 \times L \times B \times T \times H_{kv} \times d_{head} \times s$$
M_KV:KV Cache 的元素存储量,单位是字节;它不含分配器碎片、量化尺度、工作区和模型权重。2:K 与 V 两份张量。L:Transformer 层数;每层都有自己的注意力与缓存。B:同一时刻仍驻留在缓存中的请求数,不是某个离线文件里一共有多少条输入。T:每个请求已经占用的 token 数;通常包含输入前缀和已经生成的 token。H_kv:KV 头数;MHA 通常等于 Q 头数,GQA/MQA 会更少。d_head:每个 KV 头保存多少个数;d_kv = H_kv × d_head。s:每个数占多少字节,例如 FP16/BF16 通常为 2 字节。量化还可能另存尺度等元数据。
为什么是乘法:先数出一个 token 在一层的一份 K 有 H_kv × d_head 个数;乘 2 得到 K+V;再复制到 L 层、T 个位置和 B 个请求,最后乘每个数的字节数。
完整算一遍:Llama-2 7B 的教学估算
已知:L=32 层,H_kv=32,d_head=128,FP16 所以 s=2 字节。
① 一个 token、一层:2 × 32 × 128 × 2 = 16,384 字节 = 16 KiB。
② 一个 token、全部 32 层:16 KiB × 32 = 512 KiB。
③ 一个请求到 2,048 token:512 KiB × 2,048 = 1,073,741,824 字节 = 1 GiB(约 1.074 GB)。
④ 32 个同长请求:1 GiB × 32 = 32 GiB。这里还没扣模型权重、工作区和碎片,不能把 32 GiB 当成整机只需 32 GiB。
⑤ 单请求到 32,768 token:512 KiB × 32,768 = 16 GiB。
💡 KiB/GiB 与 KB/GB 不完全相同:1 KiB=1,024 字节,1 GiB=1,024³ 字节;1 GB=10⁹ 字节。本页手算用二进制 KiB/GiB,容量函数明确使用十进制 GB,比较时必须先统一单位。
不同长度请求不能直接套 B × T
在线服务里,请求长度通常不同。此时更准确的元素容量公式是:
$$M_{KV}=2 \times L \times H_{kv} \times d_{head} \times s \times \sum_{i=1}^{B}T_i$$
T_i 是第 i 个请求当前占用的 token 数,Σ 表示把 B 个请求的长度加起来。仍用上面的 512 KiB/token,三个请求长度分别为 512、1,024、2,048:
混合长度手算
ΣT_i = 512 + 1,024 + 2,048 = 3,584 token。
实际元素量:3,584 × 512 KiB = 1.75 GiB。
若朴素地按最长 2,048 给三个请求都预留:3 × 2,048 × 512 KiB = 3 GiB。
差出的 1.25 GiB 不是注意力数学需要的内容,而是“按最大长度预留”的管理浪费;下一章的分页管理正是针对这类问题。
| 模型 | 每 token 的 KV(约) | 32K 上下文单请求(约) |
|---|---|---|
| Llama-2 7B(MHA) | 512 KiB | 16 GiB |
| Llama-2 70B(GQA-8) | 320 KiB | 10 GiB |
| Mistral 7B(GQA-8) | 128 KiB ⭐ | 4 GiB |
🔑 注意 GQA 那两行 —— 这是下面要讲的关键优化。
⭐ 三、GQA / MQA:直接砍掉 KV 的大小
先把容量变化写成可核对的比例。若层数、序列长度、头维度和 dtype 都相同,MHA 使用 H_q 个 KV 头,而 GQA/MQA 使用 H_kv 个 KV 头,则:
$$\text{KV 容量缩减倍数}=\frac{H_q}{H_{kv}}$$
例如 32 个 Q 头的模型:H_kv=8 时是 32/8=4 倍,H_kv=1 时是 32/1=32 倍。这是指定头数配置的容量比例,不是所有 GQA/MQA 模型固定获得的倍率,更不等于质量或速度也按相同比例变化。
| 方案 | K、V 怎么分 | Q | K | V | 结果 |
|---|---|---|---|---|---|
| MHA(多头注意力) | 每个头有自己的 K、V | 32 头 | 32 头 | 32 头 | ← KV Cache 最大 |
| MQA(多查询) | 所有 Q 头【共享一组】K、V | 32 头 | 1 头 | 1 头 | 32/1=32 倍(本表配置);质量需按模型评测 |
| GQA(分组查询)⭐ | 分成 g 组,每组共享 | 32 头 | 8 头 | 8 头 | 32/8=4 倍(本表配置);质量需按模型评测 |
| 方案 | KV 大小 | 质量边界 | 使用者 |
|---|---|---|---|
| MHA | 1× | 基准 | 早期模型 |
| GQA-8 ⭐ | H_kv/H_q;常见示例为 1/4 或 1/8 | 一些论文/模型报告接近 MHA;不能跨模型保证 | Llama-2 70B、Mistral 等许多已发布模型 |
| MQA | 1/H_q;32 个 Q 头时为 1/32 | 可能下降;幅度依训练与任务 | Falcon、PaLM |
| MLA(DeepSeek) | 取决于潜向量与位置分量维度;下节用 DeepSeek 配置手算 | DeepSeek 论文在其评测中报告不低于对照;需独立复验 | 把 KV 压到低秩隐空间,下一节详讲 |
💡 GQA 被许多现代模型采用,是容量与模型能力之间的一种工程折中。 它的 KV 容量相对 MHA 按
H_q/H_kv缩减;某些 32 个 Q 头、4~8 个 KV 头的配置对应 8 倍或 4 倍,但别把这个示例写成所有模型都固定“缩到 1/4~1/8”。更小的 KV 可以缓解容量压力;输出质量、吞吐与延迟仍取决于训练方式、任务、算子、长度、batch 与调度,必须在目标模型和真实负载上测量。
⚠️ 注意这是模型架构层面的选择,推理时改不了 —— 选模型时就要看。
🧬 四、MLA:换一条思路压 KV
MHA → MQA → GQA 这条线,做的其实是同一件事:少存几个头。 KV 头数从 32 减到 8、再到 1 时,容量会按头数继续下降;但 H_kv=1 已是这条结构路线的下限,输出质量是否下降及下降多少取决于训练与任务评测。
MLA(Multi-head Latent Attention,DeepSeek-V2/V3 用的方案)走的是另一条路: 头数一个不减,但换一种东西存 —— 存一个压缩过的低秩向量,用的时候再还原。
① 压缩:存潜向量,不存 K 和 V
对照
MHA / GQA 缓存的是:k₁…k_h, v₁…v_h (一堆按头切好的向量)
MLA 缓存的是: c = W_DKV · h (一个短向量,长度 d_c)
要用的时候再展开: k = W_UK · c v = W_UV · c
W_DKV 是下投影(把 hidden 压到 d_c 维),W_UK / W_UV 是上投影(还原回每个头的 K、V)。
DeepSeek-V2 / V3 的实际配置是 128 个头、head_dim 128、d_c = 512。
同样这套注意力配置,如果用 MHA 存,每 token 每层要存 2 × 128 × 128 = 32768 个数;MLA 只存 512 个(外加下面要讲的 64 个)。
🔑 这不是"无损压缩",但也不是"硬砍": 低秩投影当然会丢信息。关键是
W_DKV/W_UK/W_UV是和整个模型一起训出来的 —— 模型自己学会了"该往这 512 维里塞什么"。⭐ 和 GQA 的本质差别:GQA 的压缩是结构性的(强行让 4 个 Q 头共用一组 KV, 这几个头的差异是真的没了);MLA 的压缩是学出来的(每个头还是独立的,只是换了个存法)。 DeepSeek-V2 论文在其评测设置中报告模型能力不低于对应对照;换模型、训练配方或任务后仍要重新评测,不能把它写成 MLA 的无条件保证。
② 吸收:为什么"展开"不用额外花钱
第一反应会担心:每一步都要把 c 展开成 128 个头的 K 和 V,那不是省了显存又搭上算力?
关键在于 attention 分数可以这样重写:
$$q^{T}k = q^{T}(W_{UK}\,c) = (W_{UK}^{T}q)^{T}c$$
也就是说,上投影矩阵可以挪到 q 那一边去,和 q 自己的投影矩阵合并成一个矩阵 —— 这一步叫吸收(absorption)。合并之后:
因果链
⚠️ 代价不是零:吸收之后的矩阵更大,每一步的乘法量比 GQA 多。 在部分低 batch、带宽受限的 Decode 负载中,计算单元可能利用不足,因此增加一些乘法、减少 KV 搬运可能是划算的;换成高 batch、不同硬件或不同算子后,瓶颈可能变化,不能固定写成某个计算单元空闲百分比。
⭐ MLA 的吸收改变了“计算量”和“KV 搬运量”的交换关系 —— 在低 batch、带宽受限的 Decode 负载中,它与 FlashAttention、投机解码一样,都可能通过增加一部分计算来减少更昂贵的数据搬运或权重读取;具体比例不能跨硬件和实现照搬。
⚠️ Prefill 往往具有更大的矩阵乘法和并行度,瓶颈可能与 Decode 不同;某些实现因此在 Prefill 显式展开 K/V、在 Decode 使用吸收路径。 这是实现选择而非普遍最优解,应由目标内核、batch、长度和硬件测量决定。
③ RoPE 解耦:两个优化打架的时候
现在有个麻烦。RoPE 是按位置给 k 转一个角度:位置 t 的 k 要乘上一个旋转矩阵 $R_t$。
如果 $k_t = W_{UK}c_t$,加了 RoPE 就变成 $R_t W_{UK} c_t$。再想做吸收:
$$q_s^{T}\,R_{t}\,W_{UK}\,c_t$$
⭐ 中间夹着一个"随位置变化的" $R_t$,W_UK 挪不过去了。
更准确地说:RoPE 是相对位置编码,落到分数上是 $R_{t-s}$ —— 它同时依赖查询位置和被查位置,所以没法预先和任何一边的投影矩阵合并。
🔗 这一句是整节的支点,如果读着别扭,先去 专题 C · RoPE:位置感 补 RoPE 那一节。 ⭐ 关键不是「RoPE 是旋转」这个比喻,是那一章讲清楚的两件事: ① 它加在每一层的 Q/K 上(不像正弦编码只加在输入端,所以躲不开); ② 它的效果落到注意力分数上是纯相对的 $R_{t-s}$。 这两条合起来就是上面「$W_{UK}$ 挪不过去」的全部原因——不是 DeepSeek 不想吸收,是数学上挪不动。
结果是二选一,而且两个都不能接受:
| 选择 | 后果 |
|---|---|
| 放弃吸收,每步展开全部 K | 显存和算力全吃回去,等于白压缩 💀 |
| 给每个位置偏移各存一份合并矩阵 | 数量随上下文长度爆炸 💀 |
DeepSeek 的解法叫「解耦式 RoPE」(decoupled RoPE):把 k 拆成两半,各管各的。
| 部分 | 怎么来 | 带 RoPE 吗 | 缓存什么 |
|---|---|---|---|
| 内容部分 k^C | 从潜向量 c 展开 | ❌ 不带 | 只存 c(512 维) |
| 位置部分 k^R | 从 hidden 直接投影出一个小向量 | ✅ 带 | 单独存这 64 维 ⭐ |
注意力分数变成两项相加:分数 = q^C·k^C + q^R·k^R。
- 内容那一项走潜空间,吸收照常做 ✅
- 位置那一项维度只有 64,而且所有头共享同一份(这一点和 MQA 一样),存起来几乎不占地方 ✅
⭐ 这一段值得单独记住,它超出 MLA 本身: 当两个优化互相打架时,工程上的解法常常不是"选一个", 而是把冲突的那一小部分单独拆出来,让它按老办法走。 RoPE 解耦是这个套路最干净的一个例子 —— 64 维的额外开销,买回了整个压缩方案。
④ 到底省了多少
按 DeepSeek-V3 的注意力配置(128 头、head_dim 128、BF16),每 token 每层:
| 方案 | 缓存的数字个数 | 相对 MHA | 每 token 每层字节 |
|---|---|---|---|
| MHA | 2 × 128 × 128 = 32768 | 1× | 64 KB |
| GQA-8 | 2 × 8 × 128 = 2048 | 1/16 | 4 KB |
| MQA | 2 × 1 × 128 = 256 | 1/128 | 0.5 KB |
| MLA ⭐ | c 512 + k^R 64 = 576 | ≈ 1/57 | 1.1 KB ⭐ |
⭐ 换个说法(DeepSeek-V2 论文里的说法): MLA 的缓存量相当于"GQA 只分 2.25 组" —— 比 GQA-8 还小 3.5 倍, DeepSeek-V2 论文在其模型和评测设置中报告质量不低于其 MHA 对照。 这是论文实验结果,不是换成任意模型、引擎和任务后仍自动成立的定律。
⚠️ 三条要注意的:
- 和 GQA 一样,MLA 是架构层面的选择,推理时改不了 —— 选模型时就要看。
- 💥 MLA 的高效路径需要推理引擎和注意力内核支持(包括吸收路径与解耦 RoPE)。 支持不足时,引擎可能直接拒绝加载、缺少对应内核、走兼容路径,或物化部分 K/V;结果可能表现为报错、速度下降或显存增加,不能预设一定静默展开,也不能预设优势必然全部归零。 部署前应查目标版本的模型/后端支持矩阵,并在相同上下文、batch 和 dtype 下实测峰值显存、TTFT、TPOT 与吞吐。
- 上面那些倍数是 DeepSeek 的配置。换个模型比例就变 —— 它头特别多(128 个),所以 MHA 那一列显得格外夸张。
🗑️ 五、朴素管理方式的浪费
对照
❌ 朴素做法:为每个请求预分配【最大长度】的连续显存
请求 A(实际用 100 token,max 2048):
[████░░░░░░░░░░░░░░░░░░░░░░░░░░░░] 只使用约 5%,其余是预留
请求 B(实际用 1500):
[████████████████████████░░░░░░░░] 约 27% 尚未使用
⭐ PagedAttention 原论文报告其对比系统存在显著 KV 浪费;你自己的比例取决于长度分布、引擎和块大小
三种浪费:
| 浪费类型 | 原因 |
|---|---|
| 内部碎片 | 预分配 max_len 但实际用不到 |
| 外部碎片 | 请求结束后留下不连续的空洞 |
| 预留浪费 | 为"可能还要生成"预留的空间 |
🔑 这就是 PagedAttention 要解决的问题 —— 它把操作系统的虚拟内存分页思想搬到了 KV Cache 上, 原论文在其模型、负载和对比系统中报告接近零的 KV 管理浪费与吞吐提升;这不是任意硬件和流量都固定达到“90%+”的承诺。 🔗 第 17 章详讲。
先分清三个问题
分页管理解决“放在哪里”:把每个请求的 KV 分成块,减少必须连续预留大空间造成的浪费。
前缀缓存解决“能否复用”:满足严格条件时,让多个请求引用相同的已计算前缀块。
连续批处理解决“现在轮到谁算”:请求完成就移出,新请求及时加入,由调度器决定每轮服务哪些请求。
三者可以组合,但互不等价:PagedAttention 不会自动让两个不同前缀共享内容,也不会单独决定排队公平性。
🧰 六、四个能立刻用的优化
① KV Cache 量化
信息关系
例如 KIVI 论文针对其研究的模型观察到:K 更适合按通道分组,V 更适合按 token 分组。这是特定方案的分布观察,不是“所有模型都应让 K 用 INT8、V 用 INT4”的固定配方。最终要同时核对后端是否支持、峰值显存、TTFT/TPOT、困惑度和真实下游任务。
# 🧩 骨架:`LLM` 来自你自己的代码,这一段只看写法
# vLLM
llm = LLM(model="...", kv_cache_dtype="fp8") # ⭐ 一行
② 前缀缓存(Prefix Caching)
结果对照
前缀缓存不是“意思差不多就能复用”。它要匹配最长完全相同的 token 前缀,并保持生成这些 K/V 的条件一致:同一模型权重与适配器、同一 tokenizer/chat template、相同 token 顺序和位置规则;多模态输入还要区分图像等内容。系统提示里多一个空格、RAG 文档被放到共享前缀前面、切换 LoRA,都可能让命中在差异处停止。
| 看起来相近 | 实际能否继续复用 | 原因 |
|---|---|---|
| 文字相同,模型/LoRA 不同 | ❌ | 投影权重不同,K/V 数值也不同 |
| 同一模型,但 chat template 改了 | 通常 ❌ | 最终 token ID 序列可能不同 |
| 系统提示相同,后面的用户问题不同 | ✅ 复用共同开头 | 只复用分叉之前的完整前缀块 |
| 多轮对话的旧轮次 token 完全相同 | ✅ 复用相同部分 | 新一轮及发生变化的部分仍需 Prefill |
块边界也会影响实际命中量:以每块 16 token、共同前缀 50 token 为例,只缓存完整块的实现可直接命中 48 token,最后不足一块的 2 token 仍需处理。具体块大小和淘汰策略属于推理引擎实现,不是模型数学保证。
# 🧩 骨架:`LLM` 来自你自己的代码,这一段只看写法
llm = LLM(model="...", enable_prefix_caching=True) # ⭐
打开开关只表示“允许引擎尝试复用”,不等于每个请求都会命中。生产监控应分别记录可复用 token 数、实际命中 token 数、Prefill 时间与缓存淘汰;否则只看开关状态无法判断收益。
③ 滑动窗口 / 注意力汇聚
操作步骤
④ 卸载到 CPU / 磁盘
对照
把不活跃请求的 KV Cache 换出到 CPU 内存
⚠️ 走 PCIe(第 3 章:慢约 40 倍)
⭐ 适合"多轮对话中用户正在思考"这种长间隔场景
🧮 七、动手:算你能开多大 batch
import math
def max_batch(gpu_gb, model_gb, layers, kv_heads, head_dim,
seq_len, dtype_bytes=2, overhead=0.1):
"""十进制 GB;只做元素容量上界,不能承诺 SLO 并发。"""
if min(layers, kv_heads, head_dim, seq_len, dtype_bytes) <= 0:
raise ValueError("KV 维度和长度必须为正")
if not 0 <= overhead < 1:
raise ValueError("overhead 必须在 [0,1)")
avail = gpu_gb * (1 - overhead) - model_gb
kv_per_req = 2 * layers * kv_heads * head_dim * dtype_bytes * seq_len / 1e9
return max(0, math.floor(avail / kv_per_req)), kv_per_req
print(max_batch(80, 14, 32, 32, 128, 2048)) # 54, 1.073741824 GB
print(max_batch(80, 14, 32, 8, 128, 2048)) # 216, 0.268435456 GB
# 第二行只改变容量假设;不能把已训练的 MHA 直接改成 GQA 而保持模型不变
⭐ 这个脚本值得存下来:容量规划、选模型、定 SLO 都要用它。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 15 章 批处理受限于 KV Cache | 本章是那个限制的细节 ⭐ |
| 第 15 章 部分低 batch Decode 可能受带宽限制 | KV Cache 也要被读;是否成为主瓶颈要按硬件、长度和 batch 测量 |
| 第 17 章 PagedAttention | 解决碎片问题 |
| 第 18 章 量化 | KV Cache 量化 |
| 第 8 章 多算 10-20% 换少搬 97% | MLA 的吸收也是计算与搬运的交换;只有当前负载确实受带宽限制时才可能划算 ⭐ |
| 第 19 章 用额外候选计算减少串行解码轮次 | 与 MLA 都是条件化的资源交换;接受率、batch、带宽与计算利用率必须实测 |
| 全景导论主线 2 · 模型怎样看懂一句话 多头注意力 | GQA 改的就是它 |
| 《大模型全景导论》专题 C · RoPE:位置感 ⭐ | 本章「解耦式 RoPE」的前置。要看的不是「RoPE 是什么」,是那一页讲的位置被混进注意力用的 Q、K,所以注意力分数天然随两个 token 的相对位置变化——⭐ 正因为它同时依赖查询位置和被查位置,才没法和任何一边的投影矩阵合并,MLA 的吸收才会被卡住。不知道这一条,第四节读起来就只是「DeepSeek 拆了个 64 维出来」,不知道为什么非拆不可 |
| 《大模型全景导论》主线 1 · 文字怎样进入模型 上下文窗口能撑多长 | 上一条的下游:RoPE 能外推到多长决定了上下文窗口能撑多大,而窗口撑大的代价就是本章的 KV Cache |
| 《大模型全景导论》主线 1 · 文字怎样进入模型 上下文窗口是怎么撑大的 | 撑大窗口的代价就在本章:KV Cache 随上下文线性涨 ⭐ |
| 《智能体工程教程》11 检索与 RAG 长系统提示词 + 检索结果 | 前缀缓存收益最大的场景;那边的切分方式直接决定命中率 ⭐ |
✅ 检查点
- KV Cache 减少了哪部分重复计算?为什么不能把缓存后的全部生成成本都写成 O(n)?
- 为什么只缓存 K 和 V,不缓存 Q?
- 一层 KV 的张量形状包含哪些维度?等长请求和不同长度请求的容量公式分别是什么?
- 7B 模型 seq=2048、batch=32 的 KV 元素容量是多少?三个请求长度为 512、1024、2048 时又是多少?
- MHA、GQA、MQA 的区别?KV 头从
H_q减到H_kv时,容量缩减倍数怎样计算?为什么这个倍率不能直接代表质量或速度? - GQA 是推理时能改的吗?
- MLA 和 MQA/GQA 走的是同一条路吗?它缓存的是什么?
- MLA 的"吸收"是什么意思?为什么可以不显式展开 K、V?“以算换带宽”在什么负载条件下才可能划算?
- 目标引擎没有完整 MLA 高效路径时,可能出现哪些结果?为什么不能预设它一定静默展开且显存优势归零?
- 为什么压缩之后的 K 不能直接加 RoPE?DeepSeek 怎么绕过去的?
- PagedAttention 原论文比较的朴素 KV 管理为什么浪费严重?三种浪费分别是什么?这些比例能否直接当成你的线上保证?
- 为什么不能把“K 永远更敏感、K/V 固定用某个位宽”当成 KV 量化通用规则?
- 前缀缓存命中需要哪些一致条件?共同前缀 50 token、块大小 16 时,为什么可能只命中 48 token?
- 分页管理、前缀缓存、连续批处理分别回答什么问题?
- StreamingLLM 的发现是什么?
- 常规训练、prefill、decode 的缓存前提怎样不同?PagedAttention 保证吞吐倍增吗?
👀 答案
- 固定模型宽度下,不复用前缀时投影/MLP 重复处理的 token 数累计 O(n²),复用后这部分累计 O(n)。全量因果注意力的新 query 仍访问前缀,累计仍 O(n²),KV 容量则随长度 O(n);输入前缀长度也要计入。
- 因为 Q 只用一次(当前 token 查询),而 K、V 会被后面所有 token 反复用到。
- 单层 K、V 都覆盖 B × H_kv × T × d_head;两份张量再乘 L 层和每元素字节数。等长时 2 × L × B × T × H_kv × d_head × s;不同长度时把 B × T 换成 ΣT_i。
- 该教学配置为 512 KiB/token。2,048 token 单请求是 1 GiB,32 个同长请求是 32 GiB。混合长度总计 3,584 token,所以是 1.75 GiB;若按最长长度给三个请求都预留则是 3 GiB。
- MHA 通常有
H_q组 K/V;MQA 让所有 Q 头共享一组,GQA 则分组共享。其容量相对 MHA 的理论缩减倍数为 H_q/H_kv:32/1=32、32/8=4 只是本页指定配置示例。头数比例只说明 KV 元素量,质量取决于训练与任务,速度还取决于内核、带宽、batch 和调度。 - 不能,这是模型架构层面的选择,推理时改不了——选模型时就要看。
- 不是同一条路。MQA/GQA 减少 KV 头数;MLA 头数不按这条方式减少,而缓存低秩潜向量 c,再通过训练得到的投影使用它。DeepSeek-V2 论文在其模型和评测设置中报告能力不低于对照,但换模型、训练配方或任务后仍须重新评测。
- 因为 $q^{T}(W_{UK}c) = (W_{UK}^{T}q)^{T}c$,上投影矩阵可以移到 q 一侧并与 q 的投影合并,所以 Decode 可直接在潜空间计算,不必显式展开完整 K(W_UV 可相应吸收到输出投影)。代价是矩阵与乘法量变化;只有在低 batch、带宽受限且计算单元利用不足等负载下,“增加计算、减少搬运”才可能划算,必须按硬件、内核和长度实测。
- 引擎可能拒绝加载、缺少对应内核、走兼容路径,或物化部分 K/V;不同结果会分别表现为报错、速度下降或显存增加。应查目标版本的模型/后端支持矩阵,再用相同上下文、batch 与 dtype 实测峰值显存、TTFT、TPOT 和吞吐,不能从“没有专用内核”直接推出唯一行为。
- 因为 RoPE 是按位置给 k 乘一个旋转矩阵,而且落到分数上是相对位置 $R_{t-s}$ ——它同时依赖查询位置和被查位置,卡在 q 和 c 中间,上投影矩阵挪不过去,吸收就做不成了。DeepSeek 的解法是解耦式 RoPE:把 k 拆成内容部分(从潜向量展开、不带 RoPE)和位置部分 k^R(从 hidden 直接投影出 64 维、带 RoPE、所有头共享),分数 = 两项相加。更一般的教训:两个优化打架时,把冲突的那一小部分单独拆出来让它按老办法走 ——64 维的开销买回了整个压缩方案。
- 原论文讨论的朴素管理会因预分配与碎片显著浪费容量;本页旧基线用 20-40% 帮助理解数量级。三种浪费是内部碎片(预分配 max_len 用不到)、外部碎片(请求结束留下不连续空洞)和预留浪费。具体比例依引擎、块大小、长度分布与负载而变,不能直接当线上保证。
- 不同模型、任务、量化格式、分组方式和后端内核的误差不同。KIVI 的结论是其研究对象中 K 适合按通道分组、V 适合按 token 分组;这不能推出通用的固定位宽配方,必须实测容量、延迟和任务质量。
- 要匹配最长完全相同的 token 前缀,并保持模型/适配器、tokenizer/chat template、位置规则及多模态内容等缓存条件一致。只缓存完整块时,50=16×3+2,所以 3 个完整块即 48 token 命中,余下 2 token 仍需处理。
- 分页管理回答 KV 块放在哪里;前缀缓存回答已计算内容能否复用;连续批处理回答调度器现在让谁计算。它们能组合,但彼此不等价。
- 保留最开始的几个 token(attention sink)+ 最近的窗口,效果比纯滑动窗口好很多。
- 常规 teacher-forcing 训练计算整段因果损失并反向/更新,不能无条件复用旧参数的 K/V。Prefill 产生前缀 K/V;decode 在固定参数、相同前缀与位置/掩码等规则下复用,新 query 仍访问前缀。分页管理不等于稀疏注意力,容量、抢占/重算和 TTFT/TPOT 要一起看,不能保证固定吞吐收益。
本节回顾
⚡ 走神救援
先分清训练的反向/更新与推理的固定参数复用;缓存省下重复计算,也要付容量与读写代价。容量来自 K/V 两份 × 层数 × 已驻留 token 数 × KV 头数 × 头维度 × 元素字节。投影/MLP 的 O(n) 不代表全部注意力 O(n),并发上界也不代表能守住延迟目标。
⭐ KV Cache 可能成为最大的动态显存开销之一。 不缓存就得每生成一个 token 重算整个前缀;⭐ 缓存 K 和 V 是因为它们会被后面所有 token 反复用到,而 Q 只用一次。 是否超过模型权重取决于层数、KV 头数、头维度、上下文、并发和 dtype,不能脱离配置下结论。
⭐ MQA/GQA 通过减少 KV 头数来缩小缓存,理论容量比例看
H_q/H_kv;32/1=32、32/8=4 只是指定配置的手算。⭐ KV 更小可以腾出容量,但质量、实际吞吐与 TTFT/TPOT 必须按目标模型、任务、硬件和调度评测。 ⚠️⚠️ 这是模型架构层面的选择,不能在推理时把现成 MHA 模型无损改成 GQA。🧬 MLA 走的是另一条路:缓存训练得到的低秩潜向量,再用投影参与注意力。DeepSeek 论文中的容量与质量数字只对其配置和评测成立,不能外推成 MLA 的通用倍率或质量保证。
⭐ 「吸收」会改变计算与搬运的交换关系:在部分低 batch、带宽受限的 Decode 负载中,计算单元可能利用不足,以额外计算换更少 KV 搬运才可能划算;Prefill、高 batch 或不同硬件上的瓶颈可能不同。
⭐⭐ 位置编码解耦那一段的教训超出了这个方案本身:两个优化打架时,把冲突的那一小部分拆出来让它按老办法走——很小的额外开销买回了整个压缩方案。
⚠️ MLA 高效路径需要引擎和内核支持。支持不足时可能拒绝加载、走兼容路径或物化部分 K/V;查支持矩阵,再实测峰值显存与延迟,不要预设一定静默退化或优势全部归零。
💀 朴素的最大长度预留会产生预分配、碎片和预留浪费——这正是下一章要解决的。四个能立刻用的里两条要点:⚠️ KV 量化没有跨模型通用的 K/V 位宽配方;⭐ 前缀缓存只复用最长完全相同、且生成条件一致的 token 前缀。分页管理决定“放在哪里”,前缀缓存决定“能否复用”,连续批处理决定“现在轮到谁算”。
下一节 👉 17-连续批处理与PagedAttention.md ⭐
条件与依据
使用因果注意力、固定参数和位置规则时,旧 token 的 K/V 才能复用;仍须让新 query 访问已有 K/V。表中的 KiB/GiB 使用二进制单位,容量函数统一使用十进制 GB,输出应为 54 与 216。MLA 表按假想 MHA 同等 K/V 维度比较,实际 V3 内容/位置/值头维度不同,不能拿该表当真实 MHA 基线测量;GQA、MQA 与 MLA 的质量和速度必须由模型评测确认。
机制依据:Transformers:KV caching works · vLLM:Automatic Prefix Caching · PagedAttention 原论文 · KIVI 论文 · DeepSeek-V2 原论文