AI基础设施 · 03
数据放得下,为什么仍可能搬不过来?
容量回答“放不放得下”,带宽回答“搬运至少要多久”。算术强度把运算量与字节数接到同一张账上。
读完能判断:用存储层级和算术强度分别核算搬运、计算与显存四大块。
📑 本页目录(点开跳转)
03 · 显存与带宽墙
⏱ 主线约 30 分钟(不含折叠选读) | ⭐ 理解这一章,后面十几章都会变简单
🎯 一句话
同一个聊天模型,两条请求时还能回答,十几条请求一起进来却可能报显存不足。就算两条请求都放得下,每生成一个 token 也要反复读取数据,回复未必快。容量回答「这一刻装得下吗」,带宽回答「一秒能搬多少」。本章沿用第 2 章的存储层级,先算搬运时间,再给同一个教学模型分别列训练和推理的容量账。
🏔️ 一、内存层次:一张必须记住的表
| 层级 | 容量 / 到哪 | 速度 | 带宽 |
|---|---|---|---|
| 寄存器 | ~256 KB/SM | 极快 | (几乎免费) |
| Shared Memory / L1 | ~228 KB/SM | 很快 | ~10 TB/s |
| L2 Cache | ~50 MB | 快 | ~5 TB/s |
| HBM 显存 | 80 GB | ⚠️ 慢 | ~2–3 TB/s |
| —— 以下出卡了 —— | |||
| NVLink | 到另一张卡 | 很慢 | ~900 GB/s |
| PCIe | 到 CPU 内存 | 非常慢 | ~64 GB/s |
| 网络 | 到另一台机器 | 极慢 | ~50 GB/s |
⬇︎ 这张表和上图是跨设备、跨层级的量级地图。表的前几行是存储,NVLink、PCIe 和网络是到其他设备的链路。片上聚合、单向与双向带宽口径不同,不能直接拿比值预测程序会快几倍。
容量和带宽分两笔账:更多存储位回答“能装多少”;更多独立数据位或更高每引脚数据率,才提高接口的标称搬运上限。
同样 8 颗显存,分别算“装多少”和“搬多快”
只把每颗密度翻倍:在全容量可用、仍为 256 bit 与 16 Gbit/s 的假设下,总容量变成 16 GiB,标称带宽仍为 512 GB/s。
再深入一点:为什么不再乘 DDR 或通道数?
这里的 16 Gbit/s 已是每数据引脚的数据率,不能再因“双倍数据率”乘 2。若 x32 内部分成两个 x16 通道,32 已包含 16 + 16,再乘 2 会重复计算。同一组数据线被多颗器件轮流使用,也不能把容量数量直接当独立位宽。HBM 的宽接口同样要按确切封装与控制器连接核算,不能照搬本例颗数。
512 GB/s 是接口标称上限,尚未扣除刷新、方向切换、排队等影响;程序的有效带宽还取决于访问、缓存和计时边界。它不是这次测得的 GPU 吞吐。
🔑 用层级判断优化方向:片上复用有机会减少 HBM 流量;减少
.cpu()往返有机会节省设备与主机之间的传输;并行策略需要检查真实互联路径。上图表的比值只提醒量级差异,不能据此承诺 FlashAttention、拷贝或通信的加速比。
⚖️ 二、算术强度:判断计算与搬运上限的起点
同一份数据,刚读进片上就用完一次,和读一次后连续用十次,给显存的压力不同。为了比较这种复用,把浮点运算总次数 F 除以同一存储层级上的读写字节数 Q。结果叫算术强度(Arithmetic Intensity,I),单位是每字节的浮点运算次数。FLOP 记次数,FLOP/s 才是每秒次数。
$$I=\frac{F}{Q}\quad(\mathrm{FLOP/byte})$$
先对齐同一任务、同一层级、同一执行路径。下面的 Q 和 F 必须属于同一个 kernel;若 Q 数的是 HBM 流量,B 就用 HBM 带宽,P 则匹配该 kernel 的运算精度与指令路径。
同一份工作,两种资源下界
B:该层级带宽上限
P:对应精度、指令路径的峰值
理想时间下界t ≥ max(Q/B, F/P)允许搬运与计算理想重叠;启动、依赖与同步仍可能增加时间。
156 只是一个有条件的标定例:A100 80GB SXM 的稠密 BF16/FP16 Tensor Core 矩阵峰值为 312 TFLOP/s,HBM 标称 2,039 GB/s;课堂将带宽取整为 2.0 TB/s,得 312 ÷ 2.0 ≈ 156 FLOP/B。这条屋顶不能直接用于普通逐元素加法。参见 NVIDIA A100 规格表,第 1 页;稀疏峰值另列。
📊 常见操作的算术强度(先作排查线索)
下表是特定形状、精度与理想读写下的粗估,不是一张通用实测排名;融合、分块和缓存会改变 Q,启动与并行度也可能先限制性能。
| 操作 | 算术强度 | 瓶颈 |
|---|---|---|
| 大矩阵乘(4096³) | ~1365 | 有足够复用时可能接近计算上限 |
| 卷积(大通道数) | 几百 | 可能受计算限制,需核形状与实现 |
| 矩阵乘(batch=1,即向量×矩阵) | ~1(BF16、权重主导) | 权重完整流经 HBM 时常受带宽限制 |
| 逐元素操作(ReLU、加法) | 低;FP16 加法为 1/6 | 大工作集常受带宽限制;小任务还可能受启动限制 |
| LayerNorm / Softmax | ~1 | 可能受带宽限制,须结合实现与流量层级 |
| Attention(长序列,朴素实现) | 低 | 可能受带宽限制,须结合实现与流量层级 |
3 分钟手算:一百万次加法,时间花在哪
c = a + b 逐元素相加,每个 FP16 元素占 2 字节。假设元素数 n = 1,000,000,两个输入都从 HBM 读,输出写回 HBM。忽略缓存复用和额外事务。
先数次数和字节。 每元素一次加法,所以 F = 1,000,000 FLOP。每元素读 2 + 2 字节、写 2 字节,所以 Q = 6 × 1,000,000 = 6,000,000 字节。I = 1,000,000 ÷ 6,000,000 ≈ 0.17 FLOP/字节。
再各算一次除法。 演示设定 HBM 带宽上限 B = 100 × 10⁹ 字节/秒,加法路径峰值 P = 10¹² FLOP/秒。搬运至少用 6,000,000 ÷ (100 × 10⁹) = 0.000060 秒,也就是 60 微秒。计算至少用 1,000,000 ÷ 10¹² = 0.000001 秒,也就是 1 微秒。1 微秒(μs)等于百万分之一秒。
取更长的下界。 即使搬运和计算尽量重叠,也得等更慢的一边,至少 60 μs。由此得到理想性能上限 1,000,000 ÷ 0.000060 ≈ 16.7 GFLOP/s。若两者需要串行或有额外开销,实际会更久。这组速率是演示参数。
假如同一加法在演示计时中用了 100 μs,按程序读写需求算的有效带宽(Effective Bandwidth)是 6,000,000 字节 ÷ 0.000100 秒 = 60 × 10⁹ 字节/秒,即 60 GB/s。这个结果回答「程序每秒完成了多少读写需求」。如果命中缓存或额外传输了整条事务,按需求数出的字节数与 HBM 实际流量会不同。核对硬件饱和度时,需要同一计时范围内的实际 HBM 读写量。
📐 延伸:如果计算量更大,或者想用融合提速?
对照一个假设的新算子:仍读写 6,000,000 字节,但做 120,000,000 FLOP,且对应计算路径的峰值仍是 10¹² FLOP/s。搬运下界仍是 60 μs,计算下界变成 120,000,000 ÷ 10¹² = 120 μs,计算一侧变成更紧的约束。第 4 章会把这个切换画进 Roofline 图。
普通加法通常不走矩阵 Tensor Core 指令,不能拿 312 TFLOP/s 相除,推断“99.9% 的硬件单元闲置”。低算术强度说明搬运上限可能更紧,实际瓶颈仍要测。
算子融合的一个动机是让中间值留在寄存器或片上、少往返 HBM;它也可能减少 kernel 启动。能否减少流量取决于数据依赖、复用与输出是否必须落存储;寄存器压力、并行度和数值语义也可能限制收益,不能保证 N 个操作只搬一次或快 N 倍。
再深入一点:命中 80%,片外流量就剩 20% 吗?
不一定。自定模型有 100 次、每次 32 byte 的读需求,80 次由缓存满足,其余 20 次各触发独立的 128 byte 下层读,无合并、预取或写回。应用需求是 3,200 byte,片外读是 20 × 128 = 2,560 byte,不是 20% × 3,200 = 640 byte。
32/128 byte 是教学参数,不是 GPU 通用事务大小。真实 Q 要按测量层级、事务、对齐及热/冷缓存条件核对;缓存有效带宽也不能与 HBM 引脚带宽相加。
🔑 注意表里第三行:假设一层有 10 亿个 BF16 权重,一个 token 经过这一层时,每个权重参与一次乘加,按乘与加各记一次,约 20 亿 FLOP。若这一轮全部权重都从 HBM 读取,约搬 20 亿字节。只算权重主导的情形,20 亿 ÷ 20 亿约为 1 FLOP/字节。第 15 章会用这个账解释逐 token 解码。多个请求可同轮解码并复用权重,读 KV 也会占带宽,提示预填充和大批量解码都要另算。
💾 三、训练显存到底花在哪
先看训练。同一个教学模型有 7B(70 亿)个参数。以下假设 BF16 参数和梯度各有一份,同时保留 FP32 主权重及 Adam 的两份状态。按十进制,1 GB = 10⁹ 字节。实际精度、分片和状态布局不同,需重新核算。
| 项目 | 计算方式 | 7B 模型 |
|---|---|---|
| 模型参数 | P × 2 字节(BF16) | 14 GB |
| 梯度 | P × 2 字节 | 14 GB |
| 优化器状态 ⭐ | P × 12 字节 | 84 GB |
| 激活值 | 取决于 batch/序列 | 几 GB ~ 几十 GB |
📐 优化器状态为什么是 12 字节/参数(想看再点)
本例采用的 BF16 混合精度存储方案(第 6 章)需要维护:
| 内容 | 精度 | 字节/参数 |
|---|---|---|
| FP32 主权重副本 | FP32 | 4 |
| Adam 一阶动量 m | FP32 | 4 |
| Adam 二阶动量 v | FP32 | 4 |
| 合计 | 12 ⭐ |
加上 BF16 的参数(2)和梯度(2),总共 16 字节/参数。
💡 一个好记的经验公式: $$\text{训练显存(GB)} \approx 16 \times \text{参数量(B)} + \text{激活}$$
- 7B → 112 GB(一张 80G 卡装不下)
- 70B → 1120 GB(静态状态至少按 14 张 80G 卡的总容量核算,还没算激活)
⚠️ 若换成不带动量的 SGD,就没有 Adam 的 m、v 两份状态。优化器、主权重与梯度以实际实现为准;不要把上表用在任何训练方案上。
激活值:主要随 batch 变化的持久部分
算一算
固定架构下,每层每个 token 要保存的激活元素数,可用 hidden_size 的若干倍做粗估
激活字节数粗估 ≈ 每卡 microbatch × 序列长度 × hidden × 层数 × 每元素字节数 × 经验系数
模型、序列和保存策略固定时,这部分估算值随每卡 microbatch 成比例变化
→ 减小 batch 主要影响激活,也可能影响临时工作区与通信缓冲
→ 固定模型、精度和分片时,参数、梯度和优化器状态的持久大小不随 microbatch 改变
🔑 这解释了第 1 章的疑问。 显存不足(Out of Memory,OOM)若发生在保存激活或申请临时缓冲时,减小 microbatch 可能有帮助。若优化器状态本身已经超出容量,microbatch 调到 1 也装不下,需再看 ZeRO 等改变持久状态占用的方法。
同样是 7B,推理显存为什么也可能不够?
这个模型只做推理时,无需存训练用的梯度和优化器状态。但生成下一步时,注意力需要前文的 K、V 向量。把这些中间结果留给下一步复用,就得到键值缓存(Key–Value Cache,KV Cache)。它占着空间,直到请求结束并释放或由服务回收。先取一个教学快照,列出同一时刻并存的四笔账。
| 显存项 | 2 条请求 | 16 条请求 |
|---|---|---|
| 权重 | 14.000 | 14.000 |
| KV 缓存 | 1.049 | 8.389 |
| 激活 | 2.000 | 2.000 |
| 工作区 | 1.000 | 1.000 |
| 合计 | 18.049 | 25.389 |
同一个模型副本的权重被请求共用,70 亿 × 2 字节 = 14 GB。每条请求已缓存 4,000 个 token,彼此不共享缓存。假设为当前在用的中间张量(激活)留 2 GB,为算子用完可复用的临时缓冲(工作区)留 1 GB。预算为 24 GB,两条请求账面放得下,十六条则超出预算。
复算 KV。演示模型有 32 层、每层 8 个 KV 头,每个头为每个 token 存 K、V 两个向量,每个向量各 128 个元素,BF16 每元素 2 字节。于是每个 token 的 KV 大小是 32 × 8 × 2 × 128 × 2 = 131,072 字节。两条请求乘 8,000 得 1,048,576,000 字节,十六条乘 64,000 得 8,388,608,000 字节。按 10⁹ 字节换算为表中的 GB,再各加权重 14 GB 和预留的 3 GB。
这里的「头」可先理解为分别保存一份向量的组;第 16 章会展开它的形状和分组。真实服务的激活与工作区会随阶段、批量和算子变动,还要看缓存分块、运行时和峰值。已预分配的 KV 池也可能大于表中的有效数据量。比较时对同一时刻的占用求和,避免将同一片缓存或不同时刻的峰值重复计算。
前段提示处理(Prefill)读入已有文本并建立缓存,随后解码(Decode)逐步生成并追加缓存。更大的 KV 容量预算可能让更多请求一起运行,首 token 时间和输出间隔仍要另测。阶段和服务指标分别见第 15 章和第 20 章。
🧮 四、动手:估算你的模型要多少显存
下方第一个程序复算推理表,无需 GPU。先把每个 token 的 KV 算成字节,再按并行请求数和长度累加,最后换成 GB 与 24 GB 对比。运行后两行分别给出 18.049 GB 和 25.389 GB;试着把 16 改成 8,看看合计变多少。
bytes_per_token = 32 * 8 * 2 * 128 * 2
tokens_per_request = 4000
weights_gb = 7_000_000_000 * 2 / 1e9
activations_gb = 2
workspace_gb = 1
budget_gb = 24
for requests in (2, 16):
kv_gb = requests * tokens_per_request * bytes_per_token / 1e9
total_gb = weights_gb + kv_gb + activations_gb + workspace_gb
status = "可容纳" if total_gb <= budget_gb else "超出容量"
print(f"{requests} 条:KV {kv_gb:.3f} GB,合计 {total_gb:.3f} GB,{status}")
第二个程序回到训练。它把前表中的参数、梯度和优化器状态三项相加,再用固定系数估算激活。这里的 batch 指每卡一次前向送入的 microbatch,结果只用来判断量级。
def estimate_training_memory(params_B, batch, seq_len, hidden, layers,
optimizer="adam", grad_ckpt=False):
"""返回 GB。粗估,用于判断量级和选并行策略。"""
P = params_B * 1e9
weights = P * 2 / 1e9 # BF16 参数
grads = P * 2 / 1e9 # BF16 梯度
opt = P * (12 if optimizer == "adam" else 4) / 1e9
# 激活:不开检查点约 ~34 倍 hidden/层/token(Megatron 的经验系数)
per_layer = batch * seq_len * hidden * 34 * 2 / 1e9
acts = per_layer * (layers ** 0.5 if grad_ckpt else layers)
# ↑ 检查点后约降到 √层数 量级
total = weights + grads + opt + acts
print(f"参数 {weights:6.1f} GB | 梯度 {grads:6.1f} GB | "
f"优化器 {opt:6.1f} GB | 激活 {acts:6.1f} GB")
print(f"合计 ≈ {total:.1f} GB")
return total
# 7B,batch=4,seq=2048
estimate_training_memory(7, 4, 2048, 4096, 32)
# 参数 14.0 GB | 梯度 14.0 GB | 优化器 84.0 GB | 激活 73.0 GB
# 合计 ≈ 185.0 GB;本例公式给出激活约 73.0 GB,尚未含工作区
⚠️ 这是粗估,实际还要核对分配器保留与碎片、通信缓冲、CUDA 运行环境、临时工作区。上面的四项之和没有包含这些开销。余量要根据目标配置实测,不能拿一个固定百分比替代峰值记录。
🚧 五、"带宽墙"这个词的含义
关键信息
🔑 一个重要的推论: 在同一任务的计算峰值增长快于带宽时,减少远距离搬运会更值得关注。 这并不保证下一代硬件上每个操作都从 compute-bound 变成 memory-bound;要用新的 P、B 和实际 Q 再算一次。
💡 这也解释了为什么 FP8、KV Cache 量化、算子融合这些技术 越来越受重视 —— 它们都是在直接对抗带宽墙。
🧰 六、由此推出的所有优化(后面章节的地图)
| 技术 | 它在对抗什么 | 章节 |
|---|---|---|
| 算子融合 | 逐元素操作反复往返 HBM | 07 |
| FlashAttention | attention 中间矩阵往返 HBM | 08 ⭐ |
| 混合精度 / FP8 | 缩窄部分张量时可减少该部分读写量;转换开销、其余张量与执行路径仍要计入 | 06 |
| 量化 | 权重和 KV Cache 的搬运量 | 18 |
| 梯度检查点 | 用重算换激活显存 | 09 |
| ZeRO | 优化器状态那 84GB | 11 ⭐ |
| 连续批处理 | 提高 batch → 提高算术强度 | 17 |
⭐ 看这张表:这些技术分别改变容量、流量、计算量或调度,也可能同时改变多项。先判断哪笔账最紧,再到对应章节核对收益与代价。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 2 章 内存层次 | 本章给出了具体数字 |
| 第 1 章 少搬点 | 算术强度是它的量化形式 ⭐ |
| ML 基础第 8 章 要缓存激活 | 激活显存的来源 |
| ML 基础第 9 章 Adam 的 m、v | 优化器状态 12 字节的来源 |
✅ 检查点
- 密度翻倍但独立位宽、数据率不变,容量和标称带宽分别怎么变?
- 算术强度怎么定义?156 FLOP/B 这个参考拐点有哪些条件?
- FP16 加法的 Q、F 与算术强度是多少?怎样求时间下界,融合可能改变哪笔账?
- batch=1 的矩阵乘算术强度是多少?这对推理意味着什么?
- 训练显存的四大块是什么?7B 模型各占多少?
- 优化器状态为什么是 12 字节/参数?训练显存的经验公式是什么?
- 四大块里哪一块和 batch 有关?这修正了什么错误直觉?
- 训练与推理账里各有什么?为何 14 GB 的权重能装下,十六条请求仍会超过本例预算?
- FP16 加法的演示计时若从 100 μs 改为 120 μs,按同样的 6,000,000 字节需求计算,有效带宽是多少?
- 什么是“带宽墙”?在什么条件下,硬件迭代会让带宽约束更突出?
👀 答案
- 在全容量可用的假设下,容量翻倍;独立位宽与每引脚数据率没变,标称带宽不变。8 颗从每颗 1 GiB 变成 2 GiB 时,总量由 8 变为 16 GiB,仍为 512 GB/s。
- I = F/Q,Q 要注明存储层级;B 与 Q 同层,P 与 F 的精度和执行路径匹配。156 是 A100 稠密 BF16/FP16 Tensor Core 矩阵峰值 312 TFLOP/s ÷ 取整 HBM 带宽 2.0 TB/s 的课堂参考,不适用于所有 kernel。
- 理想读写下 Q = 6n byte、F = n FLOP,I = 1/6 ≈ 0.17 FLOP/B;t ≥ max(Q/B, F/P)。本例 n=100 万、B=100 GB/s、加法路径 P=1 TFLOP/s,得 60 μs 理想下界,不能当实测。融合有机会减少中间值流量与启动,收益受依赖、资源和数值条件约束,不能据 Tensor Core 峰值算普通加法的单元闲置率。
- 约 1 FLOP/字节(BF16、忽略其他读写),可能受带宽限制。小批量稠密 decode 在权重完整流经 HBM 时常受带宽限制;批量、缓存、KV 与实现改变后须重新核算。
- 参数(14GB)、梯度(14GB)、优化器状态(84GB,最大)、激活(几 GB~几十 GB)。
- FP32 主权重副本 4 + Adam 的 m 4 + v 4 = 12。加上 BF16 参数 2 和梯度 2 共 16。经验公式:训练显存(GB) ≈ 16 × 参数量(B) + 激活。
- 激活通常随每卡 microbatch 增长,临时工作区也可能变化。 固定模型、精度和分片时,减小 microbatch 不会减掉优化器状态。
- 训练还要保留梯度和优化器状态。推理要留权重、KV、活跃的激活和工作区。十六条请求的 KV 约 8.389 GB,再加 14 + 2 + 1 = 17 GB,共 25.389 GB。
- 6,000,000 ÷ 0.000120 = 50 × 10⁹ 字节/秒,即 50 GB/s。仍需实际 HBM 字节计数才能评估显存链路的饱和度。
- 在同任务、精度、执行路径与流量层级下,若 P 增长快于 B,P/B 升高,I 不变的任务可能更受带宽限制。不能混用 FP32 与 Tensor Core 峰值推出普遍代际结论;复用、缓存和实现变化后仍须重算。
本节回顾
⚡ 走神救援
先记住这几件事
- 计算前先问数据在哪:不同存储和互联的容量、带宽差别很大。
- 容量与带宽分账;算术强度 F/Q 要对齐流量层级与计算路径,再用 max(Q/B, F/P) 算理想时间下界。
- 训练要核算参数、梯度、优化器状态和激活。推理换成权重、KV、激活与工作区的峰值账。容量有余量时,还要单独检查带宽与实际服务延迟。
下一节 👉 04-Roofline与MFU.md ⭐。把两条资源下界画成 Roofline,再看怎样拿观测值与对应上限比较。
条件与依据
BF16 小批量稠密矩阵向量乘的权重主导近似是 2P FLOP ÷ 2P 字节 ≈ 1 FLOP/字节。Roofline 还假设有足够并行度;低算术强度不是整个程序的唯一诊断。图表跨不同设备/层级的带宽仅作量级示意,不能将聚合、双向与单向规格直接相除当有效带宽。训练估算器是启发式容量预算,检查点的 √L 形式不适用于所有策略。
依据:NVIDIA GPU 性能背景;Nsight Compute §2.9:Roofline 与执行路径;CUDA Best Practices 12.6 §8.2:标称、有效与实际流量。容量、事务与时间小例均为作者教学推导,未执行 GPU 性能实验。