🏠 总目录📚 本教程 KV Cache ← →

AI 基础设施 · 复用计算,也要支付容量

复用了前缀计算,为什么显存反而不够了?

固定参数和一致前缀规则下,旧 K/V 可以复用;它们也会随着上下文与并发占据显存,容量上界还不等于满足延迟目标的并发。

读完能判断:说明缓存复用的前提,区分被省掉的计算与新增的容量,并读懂容量函数的上界。

📑 本页目录(点开跳转)

16 · KV Cache

⏱ 52 分钟 | ⭐ 可能成为最大的动态显存开销之一


🎯 一句话

固定参数的自回归生成中,不复用 KV 会重复处理前缀;缓存能减少其中的重复计算。 缓存也会随上下文与并发占用显存,并非固定“一半”。 这是推理引擎需要权衡的核心问题之一。

第 1 步新算 1 个,复用 2 个第 2 步新算 1 个,复用 3 个第 3 步新算 1 个,复用 4 个第 4 步新算 1 个,复用 5 个没有 KV Cache:每生成一个词,前面所有词都要重算一遍有了 KV Cache:只算新的那一个,前面的直接复用代价之一:KV 显存缓存大小 ∝序列长度 × 层数× batch可能成为最大的动态显存开销之一⭐ 长上下文的成本会同时落在 Prefill 计算、Decode 读写和 KV 显存上PagedAttention 之类的优化,解决的正是这块显存的碎片和浪费
蓝色是复用的,橙色是新算的 —— 每步只算一个新 token。⭐ 代价是显存:缓存大小 ∝ 序列长度 × 层数 × batch,它可能成为最大的动态显存开销之一;是否超过模型权重取决于层数、KV 头数、上下文、并发和 dtype。同时 Prefill 计算量与 Decode 的 KV 读写也会随长度增长。

🔁 一、为什么需要它

结果对照

自回归生成:"我"→"我爱"→"我爱吃"→"我爱吃面"
❌ 不缓存:每一步都把整个前缀重新过一遍模型
生成第 n 个 token 要处理 n 个 token
投影/MLP 重复处理的 token 总数为 O(n²);注意力另计
✅ 缓存:
在权重固定、前缀/位置/掩码及推理配置一致时,
先前位置的 K/V 才可复用 ⭐
存下来,新 token 只算自己那一份,拼上去即可
投影/MLP 只为新 token 计算,累计为 O(n);完整注意力累计仍为 O(n²)

对照

第 3 步生成时:

Q: 只有当前 token 的 [q₃]

K: 缓存的 + 新的 [k₁ k₂ | k₃] ← 前两个是缓存的

V: 缓存的 + 新的 [v₁ v₂ | v₃]

attention(q₃, [k₁k₂k₃], [v₁v₂v₃])

🔑 为什么只缓存 K 和 V,不缓存 Q: 因为 Q 只用一次(当前 token 查询),而 K、V 会被后面所有 token 反复用到。

先把一层里的 Q、K、V 看成三种不同任务

先不用背矩阵。处理第 t 个 token 时,查询向量(Query,Q)表示“当前位置要找什么”; 键向量(Key,K)表示“每个旧位置可以按什么特征被匹配”; 值向量(Value,V)表示“匹配到后真正取回什么信息”。这是帮助建立直觉的类比,真实机制仍是下面的点积和加权求和。

当前 token 的查询只在本步使用:

$$\operatorname{Attention}(q_t,K_{1:t},V_{1:t})= \operatorname{softmax}\!\left(\frac{q_tK_{1:t}^{T}}{\sqrt{d_{head}}}\right)V_{1:t}$$

缓存什么:每一层、每个已处理位置的 K 和 V。不属于 KV Cache 的:模型权重、只服务当前步的 Q,以及算完本步即可释放的临时激活/工作区。它们也占显存,但不能混进 KV 容量公式。

先记住边界:推理缓存复用的是相同条件下先前位置的 K/V;常规训练还要计算整段因果损失、保留反向所需信息并更新参数,不能把它直接当成增量生成。缓存减少重复计算,却不把所有注意力都变成线性,也不保证吞吐按显存压缩比增长。理解这几点即可继续读容量公式;细节可展开。

深入:训练、Prefill 与 Decode 的缓存前提(可跳过)
阶段怎么计算复用边界
常规 teacher-forcing 训练已知整段输入,用因果 mask 计算各位置的下一 token 损失;位置可并行计算,随后反向与参数更新。反向图/激活不是推理 KV Cache 的同义词;参数更新后,旧参数产生的 K/V 不能无条件作为新参数的精确缓存。
Prefill推理时并行处理输入前缀,并产生各层的 K/V。只有命中相同模型、前缀及位置/掩码/推理配置时才可复用已有前缀;未命中部分仍需计算。
增量 Decode处理新位置,计算它的 Q/K/V;新 query 仍需访问已有 K/V。权重固定且前缀规则一致才复用旧位置。长上下文仍带来 KV 读写、注意力与容量代价。

3 个位置到第 4 个位置:prefill 后已有 K/V 的位置 1..3。随后处理新输入位置 4 时,拼入 K₄、V₄,用 Q₄ 查询位置 1..4;不是把旧 query 再缓存一份。训练则可用输入位置 1..3 的因果输出同时预测位置 2..4,不能让位置 1 偷看后面的输入。

元素容量手算(教学假设):B=1、2 层、2 个 KV 头、head_dim=4、每元素 2 字节。3 个位置:2(K/V)×2×2×4×3×1×2=192 字节;4 个位置为 256 字节。这里不含布局、分配器、量化尺度和工作区,也不是显存或速度实测。

复杂度要分项:固定模型宽度、累计生成 n 个位置时,不复用前缀使投影/MLP 重复处理的 token 数约为 O(n²);复用后这部分累计为 O(n)。全量因果注意力中,新 query 每步仍查询增长的前缀,累计仍为 O(n²);KV 元素容量随序列长度为 O(n)。有固定输入前缀时,还要把其长度计入,不能拿一个 O(n) 概括全部生成成本。

吞吐与延迟一起看:扩大 batch 可摊薄权重搬运,也增加 KV/计算/排队压力。对齐模型、输入/输出长度分布、精度与并发后,同时观察总 tokens/s、TTFT/TPOT 的分位数与内存;缓存量化还可能因额外开销使短上下文延迟变差。容量上界不等于满足 SLO 的并发。

vLLM/PagedAttention 的注意点:分页是 K/V 的分块存储与访问管理,不等于把注意力内容变稀疏。具体模型、dtype、块管理和前缀缓存支持依版本而定;KV 紧张时应看抢占/重算及尾延迟,不能只把 batch 调到“刚好能装下”。机制与调度已有 第 17 章,阶段与指标见 第 15 章,这里不重复实现教程。

本段限定常规 decoder 训练与推理;冻结前缀、流式/循环训练或专门缓存方案须另列假设,不能扩成“任何训练都不允许缓存任何东西”。依据:Transformer 原论文、Transformers 缓存说明、缓存策略、vLLM 分页注意力、vLLM V1 调优条件示例。本段没有运行模型或性能实验。


💸 二、它有多大

现在的问题不是“KV 大不大”,而是“这些维度各增加一倍,显存会怎样变”。 一条 K 或 V 需要覆盖所有层、所有同时驻留的请求、每个已处理 token、每个 KV 头和头内全部数字;K、V 各一份,所以最前面乘 2。

当一个批次里的请求都按相同长度 T 估算时:

$$M_{KV}=2 \times L \times B \times T \times H_{kv} \times d_{head} \times s$$

为什么是乘法:先数出一个 token 在一层的一份 K 有 H_kv × d_head 个数;乘 2 得到 K+V;再复制到 L 层、T 个位置和 B 个请求,最后乘每个数的字节数。

完整算一遍:Llama-2 7B 的教学估算

已知:L=32 层,H_kv=32,d_head=128,FP16 所以 s=2 字节。

① 一个 token、一层:2 × 32 × 128 × 2 = 16,384 字节 = 16 KiB。

② 一个 token、全部 32 层:16 KiB × 32 = 512 KiB。

③ 一个请求到 2,048 token:512 KiB × 2,048 = 1,073,741,824 字节 = 1 GiB(约 1.074 GB)。

④ 32 个同长请求:1 GiB × 32 = 32 GiB。这里还没扣模型权重、工作区和碎片,不能把 32 GiB 当成整机只需 32 GiB。

⑤ 单请求到 32,768 token:512 KiB × 32,768 = 16 GiB。

💡 KiB/GiB 与 KB/GB 不完全相同:1 KiB=1,024 字节,1 GiB=1,024³ 字节;1 GB=10⁹ 字节。本页手算用二进制 KiB/GiB,容量函数明确使用十进制 GB,比较时必须先统一单位。

不同长度请求不能直接套 B × T

在线服务里,请求长度通常不同。此时更准确的元素容量公式是:

$$M_{KV}=2 \times L \times H_{kv} \times d_{head} \times s \times \sum_{i=1}^{B}T_i$$

T_i 是第 i 个请求当前占用的 token 数,Σ 表示把 B 个请求的长度加起来。仍用上面的 512 KiB/token,三个请求长度分别为 512、1,024、2,048:

混合长度手算

ΣT_i = 512 + 1,024 + 2,048 = 3,584 token。

实际元素量:3,584 × 512 KiB = 1.75 GiB。

若朴素地按最长 2,048 给三个请求都预留:3 × 2,048 × 512 KiB = 3 GiB。

差出的 1.25 GiB 不是注意力数学需要的内容,而是“按最大长度预留”的管理浪费;下一章的分页管理正是针对这类问题。

模型 每 token 的 KV(约) 32K 上下文单请求(约)
Llama-2 7B(MHA) 512 KiB 16 GiB
Llama-2 70B(GQA-8) 320 KiB 10 GiB
Mistral 7B(GQA-8) 128 KiB ⭐ 4 GiB

🔑 注意 GQA 那两行 —— 这是下面要讲的关键优化。


⭐ 三、GQA / MQA:直接砍掉 KV 的大小

先把容量变化写成可核对的比例。若层数、序列长度、头维度和 dtype 都相同,MHA 使用 H_q 个 KV 头,而 GQA/MQA 使用 H_kv 个 KV 头,则:

$$\text{KV 容量缩减倍数}=\frac{H_q}{H_{kv}}$$

例如 32 个 Q 头的模型:H_kv=8 时是 32/8=4 倍,H_kv=1 时是 32/1=32 倍。这是指定头数配置的容量比例,不是所有 GQA/MQA 模型固定获得的倍率,更不等于质量或速度也按相同比例变化。

方案 K、V 怎么分 Q K V 结果
MHA(多头注意力) 每个头有自己的 K、V 32 头 32 头 32 头 ← KV Cache 最大
MQA(多查询) 所有 Q 头【共享一组】K、V 32 头 1 头 1 头 32/1=32 倍(本表配置);质量需按模型评测
GQA(分组查询)⭐ 分成 g 组,每组共享 32 头 8 头 8 头 32/8=4 倍(本表配置);质量需按模型评测
方案 KV 大小 质量边界 使用者
MHA 1× 基准 早期模型
GQA-8 ⭐ H_kv/H_q;常见示例为 1/4 或 1/8 一些论文/模型报告接近 MHA;不能跨模型保证 Llama-2 70B、Mistral 等许多已发布模型
MQA 1/H_q;32 个 Q 头时为 1/32 可能下降;幅度依训练与任务 Falcon、PaLM
MLA(DeepSeek) 取决于潜向量与位置分量维度;下节用 DeepSeek 配置手算 DeepSeek 论文在其评测中报告不低于对照;需独立复验 把 KV 压到低秩隐空间,下一节详讲

💡 GQA 被许多现代模型采用,是容量与模型能力之间的一种工程折中。 它的 KV 容量相对 MHA 按 H_q/H_kv 缩减;某些 32 个 Q 头、4~8 个 KV 头的配置对应 8 倍或 4 倍,但别把这个示例写成所有模型都固定“缩到 1/4~1/8”。

更小的 KV 可以缓解容量压力;输出质量、吞吐与延迟仍取决于训练方式、任务、算子、长度、batch 与调度,必须在目标模型和真实负载上测量。

⚠️ 注意这是模型架构层面的选择,推理时改不了 —— 选模型时就要看。


🧬 四、MLA:换一条思路压 KV

MHA → MQA → GQA 这条线,做的其实是同一件事:少存几个头。 KV 头数从 32 减到 8、再到 1 时,容量会按头数继续下降;但 H_kv=1 已是这条结构路线的下限,输出质量是否下降及下降多少取决于训练与任务评测。

MLA(Multi-head Latent Attention,DeepSeek-V2/V3 用的方案)走的是另一条路: 头数一个不减,但换一种东西存 —— 存一个压缩过的低秩向量,用的时候再还原。

四种方案缓存的到底是什么(每 token 每层) MHA 每个头存一组 Q 头(画 8 个) 缓存 8 组 K/V 1× 基准 MQA 所有头共用一组 Q 头(画 8 个) 缓存 1 组 K/V 1/8× 容量示意 GQA 分组,组内共用 Q 头(画 8 个) 缓存 2 组 K/V 1/4× 容量示意 MLA 压成一个潜向量 Q 头(一个不减) 潜向量 c k_pos 512 维 + 64 维 ≈ GQA 分 2.25 组 ⭐ 前三种都在「少存几个头」,MLA 在「压到低秩,用的时候再展开」——两条不同的路 虚线那块 k_pos 是被单独拆出来的位置分量,只有 64 维、所有头共享(下面讲为什么要拆)
图里画 8 个 Q 头只是为了看得清;真实模型是 32~128 头,压缩比按同样比例放大。MLA 那一格的 Q 头一个都没少 —— 它省的不是头数,是每个 token 存下来的东西。

① 压缩:存潜向量,不存 K 和 V

对照

MHA / GQA 缓存的是:k₁…k_h, v₁…v_h (一堆按头切好的向量)

MLA 缓存的是: c = W_DKV · h (一个短向量,长度 d_c)

要用的时候再展开: k = W_UK · c v = W_UV · c

W_DKV 是下投影(把 hidden 压到 d_c 维),W_UK / W_UV 是上投影(还原回每个头的 K、V)。

DeepSeek-V2 / V3 的实际配置是 128 个头、head_dim 128、d_c = 512。 同样这套注意力配置,如果用 MHA 存,每 token 每层要存 2 × 128 × 128 = 32768 个数;MLA 只存 512 个(外加下面要讲的 64 个)。

🔑 这不是"无损压缩",但也不是"硬砍": 低秩投影当然会丢信息。关键是 W_DKV / W_UK / W_UV 是和整个模型一起训出来的 —— 模型自己学会了"该往这 512 维里塞什么"。

⭐ 和 GQA 的本质差别:GQA 的压缩是结构性的(强行让 4 个 Q 头共用一组 KV, 这几个头的差异是真的没了);MLA 的压缩是学出来的(每个头还是独立的,只是换了个存法)。 DeepSeek-V2 论文在其评测设置中报告模型能力不低于对应对照;换模型、训练配方或任务后仍要重新评测,不能把它写成 MLA 的无条件保证。

② 吸收:为什么"展开"不用额外花钱

第一反应会担心:每一步都要把 c 展开成 128 个头的 K 和 V,那不是省了显存又搭上算力?

关键在于 attention 分数可以这样重写:

$$q^{T}k = q^{T}(W_{UK}\,c) = (W_{UK}^{T}q)^{T}c$$

也就是说,上投影矩阵可以挪到 q 那一边去,和 q 自己的投影矩阵合并成一个矩阵 —— 这一步叫吸收(absorption)。合并之后:

因果链

⭐ 推理时【根本不用把 K 展开】
直接拿"吸收过的 q"和缓存里的 c 做内积
同理 W_UV 可以吸收进输出投影 W_O
Decode 阶段等于【直接在潜空间里算注意力】

⚠️ 代价不是零:吸收之后的矩阵更大,每一步的乘法量比 GQA 多。 在部分低 batch、带宽受限的 Decode 负载中,计算单元可能利用不足,因此增加一些乘法、减少 KV 搬运可能是划算的;换成高 batch、不同硬件或不同算子后,瓶颈可能变化,不能固定写成某个计算单元空闲百分比。

⭐ MLA 的吸收改变了“计算量”和“KV 搬运量”的交换关系 —— 在低 batch、带宽受限的 Decode 负载中,它与 FlashAttention、投机解码一样,都可能通过增加一部分计算来减少更昂贵的数据搬运或权重读取;具体比例不能跨硬件和实现照搬。

⚠️ Prefill 往往具有更大的矩阵乘法和并行度,瓶颈可能与 Decode 不同;某些实现因此在 Prefill 显式展开 K/V、在 Decode 使用吸收路径。 这是实现选择而非普遍最优解,应由目标内核、batch、长度和硬件测量决定。

③ RoPE 解耦:两个优化打架的时候

现在有个麻烦。RoPE 是按位置给 k 转一个角度:位置 t 的 k 要乘上一个旋转矩阵 $R_t$。

如果 $k_t = W_{UK}c_t$,加了 RoPE 就变成 $R_t W_{UK} c_t$。再想做吸收:

$$q_s^{T}\,R_{t}\,W_{UK}\,c_t$$

⭐ 中间夹着一个"随位置变化的" $R_t$,W_UK 挪不过去了。

更准确地说:RoPE 是相对位置编码,落到分数上是 $R_{t-s}$ —— 它同时依赖查询位置和被查位置,所以没法预先和任何一边的投影矩阵合并。

🔗 这一句是整节的支点,如果读着别扭,先去 专题 C · RoPE:位置感 补 RoPE 那一节。 ⭐ 关键不是「RoPE 是旋转」这个比喻,是那一章讲清楚的两件事: ① 它加在每一层的 Q/K 上(不像正弦编码只加在输入端,所以躲不开); ② 它的效果落到注意力分数上是纯相对的 $R_{t-s}$。 这两条合起来就是上面「$W_{UK}$ 挪不过去」的全部原因——不是 DeepSeek 不想吸收,是数学上挪不动。

结果是二选一,而且两个都不能接受:

选择 后果
放弃吸收,每步展开全部 K 显存和算力全吃回去,等于白压缩 💀
给每个位置偏移各存一份合并矩阵 数量随上下文长度爆炸 💀

DeepSeek 的解法叫「解耦式 RoPE」(decoupled RoPE):把 k 拆成两半,各管各的。

部分 怎么来 带 RoPE 吗 缓存什么
内容部分 k^C 从潜向量 c 展开 ❌ 不带 只存 c(512 维)
位置部分 k^R 从 hidden 直接投影出一个小向量 ✅ 带 单独存这 64 维 ⭐

注意力分数变成两项相加:分数 = q^C·k^C + q^R·k^R。

⭐ 这一段值得单独记住,它超出 MLA 本身: 当两个优化互相打架时,工程上的解法常常不是"选一个", 而是把冲突的那一小部分单独拆出来,让它按老办法走。 RoPE 解耦是这个套路最干净的一个例子 —— 64 维的额外开销,买回了整个压缩方案。

④ 到底省了多少

按 DeepSeek-V3 的注意力配置(128 头、head_dim 128、BF16),每 token 每层:

方案 缓存的数字个数 相对 MHA 每 token 每层字节
MHA 2 × 128 × 128 = 32768 1× 64 KB
GQA-8 2 × 8 × 128 = 2048 1/16 4 KB
MQA 2 × 1 × 128 = 256 1/128 0.5 KB
MLA ⭐ c 512 + k^R 64 = 576 ≈ 1/57 1.1 KB ⭐

⭐ 换个说法(DeepSeek-V2 论文里的说法): MLA 的缓存量相当于"GQA 只分 2.25 组" —— 比 GQA-8 还小 3.5 倍, DeepSeek-V2 论文在其模型和评测设置中报告质量不低于其 MHA 对照。 这是论文实验结果,不是换成任意模型、引擎和任务后仍自动成立的定律。

⚠️ 三条要注意的:

  1. 和 GQA 一样,MLA 是架构层面的选择,推理时改不了 —— 选模型时就要看。
  2. 💥 MLA 的高效路径需要推理引擎和注意力内核支持(包括吸收路径与解耦 RoPE)。 支持不足时,引擎可能直接拒绝加载、缺少对应内核、走兼容路径,或物化部分 K/V;结果可能表现为报错、速度下降或显存增加,不能预设一定静默展开,也不能预设优势必然全部归零。 部署前应查目标版本的模型/后端支持矩阵,并在相同上下文、batch 和 dtype 下实测峰值显存、TTFT、TPOT 与吞吐。
  3. 上面那些倍数是 DeepSeek 的配置。换个模型比例就变 —— 它头特别多(128 个),所以 MHA 那一列显得格外夸张。

🗑️ 五、朴素管理方式的浪费

对照

❌ 朴素做法:为每个请求预分配【最大长度】的连续显存

请求 A(实际用 100 token,max 2048):

[████░░░░░░░░░░░░░░░░░░░░░░░░░░░░] 只使用约 5%,其余是预留

请求 B(实际用 1500):

[████████████████████████░░░░░░░░] 约 27% 尚未使用

⭐ PagedAttention 原论文报告其对比系统存在显著 KV 浪费;你自己的比例取决于长度分布、引擎和块大小

三种浪费:

浪费类型 原因
内部碎片 预分配 max_len 但实际用不到
外部碎片 请求结束后留下不连续的空洞
预留浪费 为"可能还要生成"预留的空间

🔑 这就是 PagedAttention 要解决的问题 —— 它把操作系统的虚拟内存分页思想搬到了 KV Cache 上, 原论文在其模型、负载和对比系统中报告接近零的 KV 管理浪费与吞吐提升;这不是任意硬件和流量都固定达到“90%+”的承诺。 🔗 第 17 章详讲。

先分清三个问题

分页管理解决“放在哪里”:把每个请求的 KV 分成块,减少必须连续预留大空间造成的浪费。

前缀缓存解决“能否复用”:满足严格条件时,让多个请求引用相同的已计算前缀块。

连续批处理解决“现在轮到谁算”:请求完成就移出,新请求及时加入,由调度器决定每轮服务哪些请求。

三者可以组合,但互不等价:PagedAttention 不会自动让两个不同前缀共享内容,也不会单独决定排队公平性。


🧰 六、四个能立刻用的优化

① KV Cache 量化

信息关系

FP16/BF16→FP8/INT8:KV 元素的主体字节数约减半;尺度等元数据另计
更低位宽→容量继续下降,但量化/反量化开销与任务质量必须实测
⚠️ K 与 V 的数值分布和适合的分组方式可能不同
不能把“K 永远更敏感”或“K/V 固定用某个位宽”当成通用规则

例如 KIVI 论文针对其研究的模型观察到:K 更适合按通道分组,V 更适合按 token 分组。这是特定方案的分布观察,不是“所有模型都应让 K 用 INT8、V 用 INT4”的固定配方。最终要同时核对后端是否支持、峰值显存、TTFT/TPOT、困惑度和真实下游任务。

# 🧩 骨架:`LLM` 来自你自己的代码,这一段只看写法
# vLLM
llm = LLM(model="...", kv_cache_dtype="fp8")     # ⭐ 一行

② 前缀缓存(Prefix Caching)

结果对照

场景:许多请求都以同一段 2,000 token 系统提示开始
❌ 未命中:每个请求都重新 Prefill 全部前缀
✅ 命中:复用已缓存的完整前缀块→省掉命中部分的 Prefill;不同后缀仍要计算
⭐ Agent、RAG、多轮对话可能受益,但只有严格相同的开头才能命中

前缀缓存不是“意思差不多就能复用”。它要匹配最长完全相同的 token 前缀,并保持生成这些 K/V 的条件一致:同一模型权重与适配器、同一 tokenizer/chat template、相同 token 顺序和位置规则;多模态输入还要区分图像等内容。系统提示里多一个空格、RAG 文档被放到共享前缀前面、切换 LoRA,都可能让命中在差异处停止。

看起来相近实际能否继续复用原因
文字相同,模型/LoRA 不同❌投影权重不同,K/V 数值也不同
同一模型,但 chat template 改了通常 ❌最终 token ID 序列可能不同
系统提示相同,后面的用户问题不同✅ 复用共同开头只复用分叉之前的完整前缀块
多轮对话的旧轮次 token 完全相同✅ 复用相同部分新一轮及发生变化的部分仍需 Prefill

块边界也会影响实际命中量:以每块 16 token、共同前缀 50 token 为例,只缓存完整块的实现可直接命中 48 token,最后不足一块的 2 token 仍需处理。具体块大小和淘汰策略属于推理引擎实现,不是模型数学保证。

# 🧩 骨架:`LLM` 来自你自己的代码,这一段只看写法
llm = LLM(model="...", enable_prefix_caching=True)   # ⭐

打开开关只表示“允许引擎尝试复用”,不等于每个请求都会命中。生产监控应分别记录可复用 token 数、实际命中 token 数、Prefill 时间与缓存淘汰;否则只看开关状态无法判断收益。

③ 滑动窗口 / 注意力汇聚

操作步骤

只保留最近 W 个 token 的 KV→显存从 O(n) 降到 O(W)
⚠️ 会丢失长距离信息
⭐ StreamingLLM 的发现:保留【最开始的几个 token】(attention sink)
+ 最近的窗口,效果比纯滑动窗口好很多

④ 卸载到 CPU / 磁盘

对照

把不活跃请求的 KV Cache 换出到 CPU 内存

⚠️ 走 PCIe(第 3 章:慢约 40 倍)

⭐ 适合"多轮对话中用户正在思考"这种长间隔场景


🧮 七、动手:算你能开多大 batch

import math
def max_batch(gpu_gb, model_gb, layers, kv_heads, head_dim,
              seq_len, dtype_bytes=2, overhead=0.1):
    """十进制 GB;只做元素容量上界,不能承诺 SLO 并发。"""
    if min(layers, kv_heads, head_dim, seq_len, dtype_bytes) <= 0:
        raise ValueError("KV 维度和长度必须为正")
    if not 0 <= overhead < 1:
        raise ValueError("overhead 必须在 [0,1)")
    avail = gpu_gb * (1 - overhead) - model_gb
    kv_per_req = 2 * layers * kv_heads * head_dim * dtype_bytes * seq_len / 1e9
    return max(0, math.floor(avail / kv_per_req)), kv_per_req

print(max_batch(80, 14, 32, 32, 128, 2048))   # 54, 1.073741824 GB
print(max_batch(80, 14, 32, 8, 128, 2048))    # 216, 0.268435456 GB
# 第二行只改变容量假设;不能把已训练的 MHA 直接改成 GQA 而保持模型不变

⭐ 这个脚本值得存下来:容量规划、选模型、定 SLO 都要用它。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 15 章 批处理受限于 KV Cache 本章是那个限制的细节 ⭐
第 15 章 部分低 batch Decode 可能受带宽限制 KV Cache 也要被读;是否成为主瓶颈要按硬件、长度和 batch 测量
第 17 章 PagedAttention 解决碎片问题
第 18 章 量化 KV Cache 量化
第 8 章 多算 10-20% 换少搬 97% MLA 的吸收也是计算与搬运的交换;只有当前负载确实受带宽限制时才可能划算 ⭐
第 19 章 用额外候选计算减少串行解码轮次 与 MLA 都是条件化的资源交换;接受率、batch、带宽与计算利用率必须实测
全景导论主线 2 · 模型怎样看懂一句话 多头注意力 GQA 改的就是它
《大模型全景导论》专题 C · RoPE:位置感 ⭐ 本章「解耦式 RoPE」的前置。要看的不是「RoPE 是什么」,是那一页讲的位置被混进注意力用的 Q、K,所以注意力分数天然随两个 token 的相对位置变化——⭐ 正因为它同时依赖查询位置和被查位置,才没法和任何一边的投影矩阵合并,MLA 的吸收才会被卡住。不知道这一条,第四节读起来就只是「DeepSeek 拆了个 64 维出来」,不知道为什么非拆不可
《大模型全景导论》主线 1 · 文字怎样进入模型 上下文窗口能撑多长 上一条的下游:RoPE 能外推到多长决定了上下文窗口能撑多大,而窗口撑大的代价就是本章的 KV Cache
《大模型全景导论》主线 1 · 文字怎样进入模型 上下文窗口是怎么撑大的 撑大窗口的代价就在本章:KV Cache 随上下文线性涨 ⭐
《智能体工程教程》11 检索与 RAG 长系统提示词 + 检索结果 前缀缓存收益最大的场景;那边的切分方式直接决定命中率 ⭐

✅ 检查点

  1. KV Cache 减少了哪部分重复计算?为什么不能把缓存后的全部生成成本都写成 O(n)?
  2. 为什么只缓存 K 和 V,不缓存 Q?
  3. 一层 KV 的张量形状包含哪些维度?等长请求和不同长度请求的容量公式分别是什么?
  4. 7B 模型 seq=2048、batch=32 的 KV 元素容量是多少?三个请求长度为 512、1024、2048 时又是多少?
  5. MHA、GQA、MQA 的区别?KV 头从 H_q 减到 H_kv 时,容量缩减倍数怎样计算?为什么这个倍率不能直接代表质量或速度?
  6. GQA 是推理时能改的吗?
  7. MLA 和 MQA/GQA 走的是同一条路吗?它缓存的是什么?
  8. MLA 的"吸收"是什么意思?为什么可以不显式展开 K、V?“以算换带宽”在什么负载条件下才可能划算?
  9. 目标引擎没有完整 MLA 高效路径时,可能出现哪些结果?为什么不能预设它一定静默展开且显存优势归零?
  10. 为什么压缩之后的 K 不能直接加 RoPE?DeepSeek 怎么绕过去的?
  11. PagedAttention 原论文比较的朴素 KV 管理为什么浪费严重?三种浪费分别是什么?这些比例能否直接当成你的线上保证?
  12. 为什么不能把“K 永远更敏感、K/V 固定用某个位宽”当成 KV 量化通用规则?
  13. 前缀缓存命中需要哪些一致条件?共同前缀 50 token、块大小 16 时,为什么可能只命中 48 token?
  14. 分页管理、前缀缓存、连续批处理分别回答什么问题?
  15. StreamingLLM 的发现是什么?
  16. 常规训练、prefill、decode 的缓存前提怎样不同?PagedAttention 保证吞吐倍增吗?
👀 答案
  1. 固定模型宽度下,不复用前缀时投影/MLP 重复处理的 token 数累计 O(n²),复用后这部分累计 O(n)。全量因果注意力的新 query 仍访问前缀,累计仍 O(n²),KV 容量则随长度 O(n);输入前缀长度也要计入。
  2. 因为 Q 只用一次(当前 token 查询),而 K、V 会被后面所有 token 反复用到。
  3. 单层 K、V 都覆盖 B × H_kv × T × d_head;两份张量再乘 L 层和每元素字节数。等长时 2 × L × B × T × H_kv × d_head × s;不同长度时把 B × T 换成 ΣT_i。
  4. 该教学配置为 512 KiB/token。2,048 token 单请求是 1 GiB,32 个同长请求是 32 GiB。混合长度总计 3,584 token,所以是 1.75 GiB;若按最长长度给三个请求都预留则是 3 GiB。
  5. MHA 通常有 H_q 组 K/V;MQA 让所有 Q 头共享一组,GQA 则分组共享。其容量相对 MHA 的理论缩减倍数为 H_q/H_kv:32/1=32、32/8=4 只是本页指定配置示例。头数比例只说明 KV 元素量,质量取决于训练与任务,速度还取决于内核、带宽、batch 和调度。
  6. 不能,这是模型架构层面的选择,推理时改不了——选模型时就要看。
  7. 不是同一条路。MQA/GQA 减少 KV 头数;MLA 头数不按这条方式减少,而缓存低秩潜向量 c,再通过训练得到的投影使用它。DeepSeek-V2 论文在其模型和评测设置中报告能力不低于对照,但换模型、训练配方或任务后仍须重新评测。
  8. 因为 $q^{T}(W_{UK}c) = (W_{UK}^{T}q)^{T}c$,上投影矩阵可以移到 q 一侧并与 q 的投影合并,所以 Decode 可直接在潜空间计算,不必显式展开完整 K(W_UV 可相应吸收到输出投影)。代价是矩阵与乘法量变化;只有在低 batch、带宽受限且计算单元利用不足等负载下,“增加计算、减少搬运”才可能划算,必须按硬件、内核和长度实测。
  9. 引擎可能拒绝加载、缺少对应内核、走兼容路径,或物化部分 K/V;不同结果会分别表现为报错、速度下降或显存增加。应查目标版本的模型/后端支持矩阵,再用相同上下文、batch 与 dtype 实测峰值显存、TTFT、TPOT 和吞吐,不能从“没有专用内核”直接推出唯一行为。
  10. 因为 RoPE 是按位置给 k 乘一个旋转矩阵,而且落到分数上是相对位置 $R_{t-s}$ ——它同时依赖查询位置和被查位置,卡在 q 和 c 中间,上投影矩阵挪不过去,吸收就做不成了。DeepSeek 的解法是解耦式 RoPE:把 k 拆成内容部分(从潜向量展开、不带 RoPE)和位置部分 k^R(从 hidden 直接投影出 64 维、带 RoPE、所有头共享),分数 = 两项相加。更一般的教训:两个优化打架时,把冲突的那一小部分单独拆出来让它按老办法走 ——64 维的开销买回了整个压缩方案。
  11. 原论文讨论的朴素管理会因预分配与碎片显著浪费容量;本页旧基线用 20-40% 帮助理解数量级。三种浪费是内部碎片(预分配 max_len 用不到)、外部碎片(请求结束留下不连续空洞)和预留浪费。具体比例依引擎、块大小、长度分布与负载而变,不能直接当线上保证。
  12. 不同模型、任务、量化格式、分组方式和后端内核的误差不同。KIVI 的结论是其研究对象中 K 适合按通道分组、V 适合按 token 分组;这不能推出通用的固定位宽配方,必须实测容量、延迟和任务质量。
  13. 要匹配最长完全相同的 token 前缀,并保持模型/适配器、tokenizer/chat template、位置规则及多模态内容等缓存条件一致。只缓存完整块时,50=16×3+2,所以 3 个完整块即 48 token 命中,余下 2 token 仍需处理。
  14. 分页管理回答 KV 块放在哪里;前缀缓存回答已计算内容能否复用;连续批处理回答调度器现在让谁计算。它们能组合,但彼此不等价。
  15. 保留最开始的几个 token(attention sink)+ 最近的窗口,效果比纯滑动窗口好很多。
  16. 常规 teacher-forcing 训练计算整段因果损失并反向/更新,不能无条件复用旧参数的 K/V。Prefill 产生前缀 K/V;decode 在固定参数、相同前缀与位置/掩码等规则下复用,新 query 仍访问前缀。分页管理不等于稀疏注意力,容量、抢占/重算和 TTFT/TPOT 要一起看,不能保证固定吞吐收益。

本节回顾

⚡ 走神救援

先分清训练的反向/更新与推理的固定参数复用;缓存省下重复计算,也要付容量与读写代价。容量来自 K/V 两份 × 层数 × 已驻留 token 数 × KV 头数 × 头维度 × 元素字节。投影/MLP 的 O(n) 不代表全部注意力 O(n),并发上界也不代表能守住延迟目标。

⭐ KV Cache 可能成为最大的动态显存开销之一。 不缓存就得每生成一个 token 重算整个前缀;⭐ 缓存 K 和 V 是因为它们会被后面所有 token 反复用到,而 Q 只用一次。 是否超过模型权重取决于层数、KV 头数、头维度、上下文、并发和 dtype,不能脱离配置下结论。

⭐ MQA/GQA 通过减少 KV 头数来缩小缓存,理论容量比例看 H_q/H_kv;32/1=32、32/8=4 只是指定配置的手算。⭐ KV 更小可以腾出容量,但质量、实际吞吐与 TTFT/TPOT 必须按目标模型、任务、硬件和调度评测。 ⚠️⚠️ 这是模型架构层面的选择,不能在推理时把现成 MHA 模型无损改成 GQA。

🧬 MLA 走的是另一条路:缓存训练得到的低秩潜向量,再用投影参与注意力。DeepSeek 论文中的容量与质量数字只对其配置和评测成立,不能外推成 MLA 的通用倍率或质量保证。

⭐ 「吸收」会改变计算与搬运的交换关系:在部分低 batch、带宽受限的 Decode 负载中,计算单元可能利用不足,以额外计算换更少 KV 搬运才可能划算;Prefill、高 batch 或不同硬件上的瓶颈可能不同。

⭐⭐ 位置编码解耦那一段的教训超出了这个方案本身:两个优化打架时,把冲突的那一小部分拆出来让它按老办法走——很小的额外开销买回了整个压缩方案。

⚠️ MLA 高效路径需要引擎和内核支持。支持不足时可能拒绝加载、走兼容路径或物化部分 K/V;查支持矩阵,再实测峰值显存与延迟,不要预设一定静默退化或优势全部归零。

💀 朴素的最大长度预留会产生预分配、碎片和预留浪费——这正是下一章要解决的。四个能立刻用的里两条要点:⚠️ KV 量化没有跨模型通用的 K/V 位宽配方;⭐ 前缀缓存只复用最长完全相同、且生成条件一致的 token 前缀。分页管理决定“放在哪里”,前缀缓存决定“能否复用”,连续批处理决定“现在轮到谁算”。

下一节 👉 17-连续批处理与PagedAttention.md ⭐

条件与依据

使用因果注意力、固定参数和位置规则时,旧 token 的 K/V 才能复用;仍须让新 query 访问已有 K/V。表中的 KiB/GiB 使用二进制单位,容量函数统一使用十进制 GB,输出应为 54 与 216。MLA 表按假想 MHA 同等 K/V 维度比较,实际 V3 内容/位置/值头维度不同,不能拿该表当真实 MHA 基线测量;GQA、MQA 与 MLA 的质量和速度必须由模型评测确认。

机制依据:Transformers:KV caching works · vLLM:Automatic Prefix Caching · PagedAttention 原论文 · KIVI 论文 · DeepSeek-V2 原论文

打卡记录保存在你的浏览器里,首页能看到总进度