🏠 总目录📚 本教程 显存与带宽墙 ← →

AI基础设施 · 03

数据放得下,为什么仍可能搬不过来?

容量回答“放不放得下”,带宽回答“搬运至少要多久”。算术强度把运算量与字节数接到同一张账上。

读完能判断:用存储层级和算术强度分别核算搬运、计算与显存四大块。

📑 本页目录(点开跳转)

03 · 显存与带宽墙

⏱ 主线约 30 分钟(不含折叠选读) | ⭐ 理解这一章,后面十几章都会变简单


🎯 一句话

同一个聊天模型,两条请求时还能回答,十几条请求一起进来却可能报显存不足。就算两条请求都放得下,每生成一个 token 也要反复读取数据,回复未必快。容量回答「这一刻装得下吗」,带宽回答「一秒能搬多少」。本章沿用第 2 章的存储层级,先算搬运时间,再给同一个教学模型分别列训练和推理的容量账。

SRAM / 片上~19 TB/s~20 MBHBM 显存~3.3 TB/s80 GB主机内存~64 GB/s1 TB+网络 / 跨机~25 GB/s—容量数据存在哪里,决定它要走哪条路片上复用能少走显存,跨卡与跨机还有各自的链路图中数字只表示量级,不能拿条形长度估计应用速度
靠近计算单元的存储通常容量小,能供数据反复使用。搬到别的层级时,先找出数据经过的具体链路。图中带宽和容量只做量级示意,条形没有统一比例尺。

🏔️ 一、内存层次:一张必须记住的表

层级 容量 / 到哪 速度 带宽
寄存器 ~256 KB/SM 极快 (几乎免费)
Shared Memory / L1 ~228 KB/SM 很快 ~10 TB/s
L2 Cache ~50 MB 快 ~5 TB/s
HBM 显存 80 GB ⚠️ 慢 ~2–3 TB/s
—— 以下出卡了 ——
NVLink 到另一张卡 很慢 ~900 GB/s
PCIe 到 CPU 内存 非常慢 ~64 GB/s
网络 到另一台机器 极慢 ~50 GB/s

⬇︎ 这张表和上图是跨设备、跨层级的量级地图。表的前几行是存储,NVLink、PCIe 和网络是到其他设备的链路。片上聚合、单向与双向带宽口径不同,不能直接拿比值预测程序会快几倍。

容量和带宽分两笔账:更多存储位回答“能装多少”;更多独立数据位或更高每引脚数据率,才提高接口的标称搬运上限。

同样 8 颗显存,分别算“装多少”和“搬多快”

容量账
每颗密度 × 颗数 ÷ 88 × 2³⁰ bit × 8 ÷ 8 = 8 GiB假设每颗全容量可寻址;bit → byte 要除 8。
带宽账
每根数据线的速率 × 独立数据线数 ÷ 816 Gbit/s/线 × 256 线 ÷ 8 = 512 GB/s假设 8 组 x32 数据位互不重叠,256 = 8 × 32。
作者重绘的接口教学模型。容量中的“8 Gb”明确指每颗 8 × 2³⁰ bit,即 1 GiB;数据率中的 G 按 10⁹,GB/s 按 10⁹ byte/s。Gb 是位数,GB 是字节数,两者不能混写。

只把每颗密度翻倍:在全容量可用、仍为 256 bit 与 16 Gbit/s 的假设下,总容量变成 16 GiB,标称带宽仍为 512 GB/s。

再深入一点:为什么不再乘 DDR 或通道数?

这里的 16 Gbit/s 已是每数据引脚的数据率,不能再因“双倍数据率”乘 2。若 x32 内部分成两个 x16 通道,32 已包含 16 + 16,再乘 2 会重复计算。同一组数据线被多颗器件轮流使用,也不能把容量数量直接当独立位宽。HBM 的宽接口同样要按确切封装与控制器连接核算,不能照搬本例颗数。

512 GB/s 是接口标称上限,尚未扣除刷新、方向切换、排队等影响;程序的有效带宽还取决于访问、缓存和计时边界。它不是这次测得的 GPU 吞吐。

🔑 用层级判断优化方向:片上复用有机会减少 HBM 流量;减少 .cpu() 往返有机会节省设备与主机之间的传输;并行策略需要检查真实互联路径。上图表的比值只提醒量级差异,不能据此承诺 FlashAttention、拷贝或通信的加速比。


⚖️ 二、算术强度:判断计算与搬运上限的起点

同一份数据,刚读进片上就用完一次,和读一次后连续用十次,给显存的压力不同。为了比较这种复用,把浮点运算总次数 F 除以同一存储层级上的读写字节数 Q。结果叫算术强度(Arithmetic Intensity,I),单位是每字节的浮点运算次数。FLOP 记次数,FLOP/s 才是每秒次数。

$$I=\frac{F}{Q}\quad(\mathrm{FLOP/byte})$$

先对齐同一任务、同一层级、同一执行路径。下面的 Q 和 F 必须属于同一个 kernel;若 Q 数的是 HBM 流量,B 就用 HBM 带宽,P 则匹配该 kernel 的运算精度与指令路径。

同一份工作,两种资源下界

搬运账Q byte ÷ B byte/sQ:选定层级的读写总量
B:该层级带宽上限
计算账F FLOP ÷ P FLOP/sF:实际运算量的计数约定
P:对应精度、指令路径的峰值

理想时间下界t ≥ max(Q/B, F/P)允许搬运与计算理想重叠;启动、依赖与同步仍可能增加时间。

这是资源上限推导出的时间下界,不是运行时间预测。反过来,理想性能上界为 min(P, (F/Q) × B);真实观测还需要同一计时范围的测量。

156 只是一个有条件的标定例:A100 80GB SXM 的稠密 BF16/FP16 Tensor Core 矩阵峰值为 312 TFLOP/s,HBM 标称 2,039 GB/s;课堂将带宽取整为 2.0 TB/s,得 312 ÷ 2.0 ≈ 156 FLOP/B。这条屋顶不能直接用于普通逐元素加法。参见 NVIDIA A100 规格表,第 1 页;稀疏峰值另列。

📊 常见操作的算术强度(先作排查线索)

下表是特定形状、精度与理想读写下的粗估,不是一张通用实测排名;融合、分块和缓存会改变 Q,启动与并行度也可能先限制性能。

操作 算术强度 瓶颈
大矩阵乘(4096³) ~1365 有足够复用时可能接近计算上限
卷积(大通道数) 几百 可能受计算限制,需核形状与实现
矩阵乘(batch=1,即向量×矩阵) ~1(BF16、权重主导) 权重完整流经 HBM 时常受带宽限制
逐元素操作(ReLU、加法) 低;FP16 加法为 1/6 大工作集常受带宽限制;小任务还可能受启动限制
LayerNorm / Softmax ~1 可能受带宽限制,须结合实现与流量层级
Attention(长序列,朴素实现) 低 可能受带宽限制,须结合实现与流量层级

3 分钟手算:一百万次加法,时间花在哪

c = a + b 逐元素相加,每个 FP16 元素占 2 字节。假设元素数 n = 1,000,000,两个输入都从 HBM 读,输出写回 HBM。忽略缓存复用和额外事务。

先数次数和字节。 每元素一次加法,所以 F = 1,000,000 FLOP。每元素读 2 + 2 字节、写 2 字节,所以 Q = 6 × 1,000,000 = 6,000,000 字节。I = 1,000,000 ÷ 6,000,000 ≈ 0.17 FLOP/字节。

再各算一次除法。 演示设定 HBM 带宽上限 B = 100 × 10⁹ 字节/秒,加法路径峰值 P = 10¹² FLOP/秒。搬运至少用 6,000,000 ÷ (100 × 10⁹) = 0.000060 秒,也就是 60 微秒。计算至少用 1,000,000 ÷ 10¹² = 0.000001 秒,也就是 1 微秒。1 微秒(μs)等于百万分之一秒。

取更长的下界。 即使搬运和计算尽量重叠,也得等更慢的一边,至少 60 μs。由此得到理想性能上限 1,000,000 ÷ 0.000060 ≈ 16.7 GFLOP/s。若两者需要串行或有额外开销,实际会更久。这组速率是演示参数。

假如同一加法在演示计时中用了 100 μs,按程序读写需求算的有效带宽(Effective Bandwidth)是 6,000,000 字节 ÷ 0.000100 秒 = 60 × 10⁹ 字节/秒,即 60 GB/s。这个结果回答「程序每秒完成了多少读写需求」。如果命中缓存或额外传输了整条事务,按需求数出的字节数与 HBM 实际流量会不同。核对硬件饱和度时,需要同一计时范围内的实际 HBM 读写量。

📐 延伸:如果计算量更大,或者想用融合提速?

对照一个假设的新算子:仍读写 6,000,000 字节,但做 120,000,000 FLOP,且对应计算路径的峰值仍是 10¹² FLOP/s。搬运下界仍是 60 μs,计算下界变成 120,000,000 ÷ 10¹² = 120 μs,计算一侧变成更紧的约束。第 4 章会把这个切换画进 Roofline 图。

普通加法通常不走矩阵 Tensor Core 指令,不能拿 312 TFLOP/s 相除,推断“99.9% 的硬件单元闲置”。低算术强度说明搬运上限可能更紧,实际瓶颈仍要测。

算子融合的一个动机是让中间值留在寄存器或片上、少往返 HBM;它也可能减少 kernel 启动。能否减少流量取决于数据依赖、复用与输出是否必须落存储;寄存器压力、并行度和数值语义也可能限制收益,不能保证 N 个操作只搬一次或快 N 倍。

再深入一点:命中 80%,片外流量就剩 20% 吗?

不一定。自定模型有 100 次、每次 32 byte 的读需求,80 次由缓存满足,其余 20 次各触发独立的 128 byte 下层读,无合并、预取或写回。应用需求是 3,200 byte,片外读是 20 × 128 = 2,560 byte,不是 20% × 3,200 = 640 byte。

32/128 byte 是教学参数,不是 GPU 通用事务大小。真实 Q 要按测量层级、事务、对齐及热/冷缓存条件核对;缓存有效带宽也不能与 HBM 引脚带宽相加。

🔑 注意表里第三行:假设一层有 10 亿个 BF16 权重,一个 token 经过这一层时,每个权重参与一次乘加,按乘与加各记一次,约 20 亿 FLOP。若这一轮全部权重都从 HBM 读取,约搬 20 亿字节。只算权重主导的情形,20 亿 ÷ 20 亿约为 1 FLOP/字节。第 15 章会用这个账解释逐 token 解码。多个请求可同轮解码并复用权重,读 KV 也会占带宽,提示预填充和大批量解码都要另算。


💾 三、训练显存到底花在哪

先看训练。同一个教学模型有 7B(70 亿)个参数。以下假设 BF16 参数和梯度各有一份,同时保留 FP32 主权重及 Adam 的两份状态。按十进制,1 GB = 10⁹ 字节。实际精度、分片和状态布局不同,需重新核算。

项目 计算方式 7B 模型
模型参数 P × 2 字节(BF16) 14 GB
梯度 P × 2 字节 14 GB
优化器状态 ⭐ P × 12 字节 84 GB
激活值 取决于 batch/序列 几 GB ~ 几十 GB
📐 优化器状态为什么是 12 字节/参数(想看再点)

本例采用的 BF16 混合精度存储方案(第 6 章)需要维护:

内容 精度 字节/参数
FP32 主权重副本 FP32 4
Adam 一阶动量 m FP32 4
Adam 二阶动量 v FP32 4
合计 12 ⭐

加上 BF16 的参数(2)和梯度(2),总共 16 字节/参数。

💡 一个好记的经验公式: $$\text{训练显存(GB)} \approx 16 \times \text{参数量(B)} + \text{激活}$$

⚠️ 若换成不带动量的 SGD,就没有 Adam 的 m、v 两份状态。优化器、主权重与梯度以实际实现为准;不要把上表用在任何训练方案上。

激活值:主要随 batch 变化的持久部分

算一算

固定架构下,每层每个 token 要保存的激活元素数,可用 hidden_size 的若干倍做粗估

激活字节数粗估 ≈ 每卡 microbatch × 序列长度 × hidden × 层数 × 每元素字节数 × 经验系数

模型、序列和保存策略固定时,这部分估算值随每卡 microbatch 成比例变化

→ 减小 batch 主要影响激活,也可能影响临时工作区与通信缓冲

→ 固定模型、精度和分片时,参数、梯度和优化器状态的持久大小不随 microbatch 改变

🔑 这解释了第 1 章的疑问。 显存不足(Out of Memory,OOM)若发生在保存激活或申请临时缓冲时,减小 microbatch 可能有帮助。若优化器状态本身已经超出容量,microbatch 调到 1 也装不下,需再看 ZeRO 等改变持久状态占用的方法。

同样是 7B,推理显存为什么也可能不够?

这个模型只做推理时,无需存训练用的梯度和优化器状态。但生成下一步时,注意力需要前文的 K、V 向量。把这些中间结果留给下一步复用,就得到键值缓存(Key–Value Cache,KV Cache)。它占着空间,直到请求结束并释放或由服务回收。先取一个教学快照,列出同一时刻并存的四笔账。

同一 7B 模型的推理账本(GB)
显存项2 条请求16 条请求
权重14.00014.000
KV 缓存1.0498.389
激活2.0002.000
工作区1.0001.000
合计18.04925.389

同一个模型副本的权重被请求共用,70 亿 × 2 字节 = 14 GB。每条请求已缓存 4,000 个 token,彼此不共享缓存。假设为当前在用的中间张量(激活)留 2 GB,为算子用完可复用的临时缓冲(工作区)留 1 GB。预算为 24 GB,两条请求账面放得下,十六条则超出预算。

复算 KV。演示模型有 32 层、每层 8 个 KV 头,每个头为每个 token 存 K、V 两个向量,每个向量各 128 个元素,BF16 每元素 2 字节。于是每个 token 的 KV 大小是 32 × 8 × 2 × 128 × 2 = 131,072 字节。两条请求乘 8,000 得 1,048,576,000 字节,十六条乘 64,000 得 8,388,608,000 字节。按 10⁹ 字节换算为表中的 GB,再各加权重 14 GB 和预留的 3 GB。

这里的「头」可先理解为分别保存一份向量的组;第 16 章会展开它的形状和分组。真实服务的激活与工作区会随阶段、批量和算子变动,还要看缓存分块、运行时和峰值。已预分配的 KV 池也可能大于表中的有效数据量。比较时对同一时刻的占用求和,避免将同一片缓存或不同时刻的峰值重复计算。

前段提示处理(Prefill)读入已有文本并建立缓存,随后解码(Decode)逐步生成并追加缓存。更大的 KV 容量预算可能让更多请求一起运行,首 token 时间和输出间隔仍要另测。阶段和服务指标分别见第 15 章和第 20 章。


🧮 四、动手:估算你的模型要多少显存

下方第一个程序复算推理表,无需 GPU。先把每个 token 的 KV 算成字节,再按并行请求数和长度累加,最后换成 GB 与 24 GB 对比。运行后两行分别给出 18.049 GB 和 25.389 GB;试着把 16 改成 8,看看合计变多少。

bytes_per_token = 32 * 8 * 2 * 128 * 2
tokens_per_request = 4000
weights_gb = 7_000_000_000 * 2 / 1e9
activations_gb = 2
workspace_gb = 1
budget_gb = 24

for requests in (2, 16):
    kv_gb = requests * tokens_per_request * bytes_per_token / 1e9
    total_gb = weights_gb + kv_gb + activations_gb + workspace_gb
    status = "可容纳" if total_gb <= budget_gb else "超出容量"
    print(f"{requests} 条:KV {kv_gb:.3f} GB,合计 {total_gb:.3f} GB,{status}")

第二个程序回到训练。它把前表中的参数、梯度和优化器状态三项相加,再用固定系数估算激活。这里的 batch 指每卡一次前向送入的 microbatch,结果只用来判断量级。

def estimate_training_memory(params_B, batch, seq_len, hidden, layers,
                             optimizer="adam", grad_ckpt=False):
    """返回 GB。粗估,用于判断量级和选并行策略。"""
    P = params_B * 1e9
    weights = P * 2 / 1e9                       # BF16 参数
    grads   = P * 2 / 1e9                       # BF16 梯度
    opt     = P * (12 if optimizer == "adam" else 4) / 1e9

    # 激活:不开检查点约 ~34 倍 hidden/层/token(Megatron 的经验系数)
    per_layer = batch * seq_len * hidden * 34 * 2 / 1e9
    acts = per_layer * (layers ** 0.5 if grad_ckpt else layers)
    #                    ↑ 检查点后约降到 √层数 量级

    total = weights + grads + opt + acts
    print(f"参数 {weights:6.1f} GB | 梯度 {grads:6.1f} GB | "
          f"优化器 {opt:6.1f} GB | 激活 {acts:6.1f} GB")
    print(f"合计 ≈ {total:.1f} GB")
    return total

# 7B,batch=4,seq=2048
estimate_training_memory(7, 4, 2048, 4096, 32)
# 参数   14.0 GB | 梯度   14.0 GB | 优化器   84.0 GB | 激活   73.0 GB
# 合计 ≈ 185.0 GB;本例公式给出激活约 73.0 GB,尚未含工作区

⚠️ 这是粗估,实际还要核对分配器保留与碎片、通信缓冲、CUDA 运行环境、临时工作区。上面的四项之和没有包含这些开销。余量要根据目标配置实测,不能拿一个固定百分比替代峰值记录。


🚧 五、"带宽墙"这个词的含义

关键信息

固定同一任务、精度、执行路径与流量层级
若 P 的增长快于 B → 参考拐点 P/B 升高
若任务的 I 不变 → 带宽上界可能变成更紧的约束
不能把不同年代的 FP32 与 Tensor Core 峰值直接比较,推出每种任务都更受带宽限制
这类计算能力与搬运能力不匹配,就是这里讨论的“带宽墙”

🔑 一个重要的推论: 在同一任务的计算峰值增长快于带宽时,减少远距离搬运会更值得关注。 这并不保证下一代硬件上每个操作都从 compute-bound 变成 memory-bound;要用新的 P、B 和实际 Q 再算一次。

💡 这也解释了为什么 FP8、KV Cache 量化、算子融合这些技术 越来越受重视 —— 它们都是在直接对抗带宽墙。


🧰 六、由此推出的所有优化(后面章节的地图)

技术 它在对抗什么 章节
算子融合 逐元素操作反复往返 HBM 07
FlashAttention attention 中间矩阵往返 HBM 08 ⭐
混合精度 / FP8 缩窄部分张量时可减少该部分读写量;转换开销、其余张量与执行路径仍要计入 06
量化 权重和 KV Cache 的搬运量 18
梯度检查点 用重算换激活显存 09
ZeRO 优化器状态那 84GB 11 ⭐
连续批处理 提高 batch → 提高算术强度 17

⭐ 看这张表:这些技术分别改变容量、流量、计算量或调度,也可能同时改变多项。先判断哪笔账最紧,再到对应章节核对收益与代价。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 2 章 内存层次 本章给出了具体数字
第 1 章 少搬点 算术强度是它的量化形式 ⭐
ML 基础第 8 章 要缓存激活 激活显存的来源
ML 基础第 9 章 Adam 的 m、v 优化器状态 12 字节的来源

✅ 检查点

  1. 密度翻倍但独立位宽、数据率不变,容量和标称带宽分别怎么变?
  2. 算术强度怎么定义?156 FLOP/B 这个参考拐点有哪些条件?
  3. FP16 加法的 Q、F 与算术强度是多少?怎样求时间下界,融合可能改变哪笔账?
  4. batch=1 的矩阵乘算术强度是多少?这对推理意味着什么?
  5. 训练显存的四大块是什么?7B 模型各占多少?
  6. 优化器状态为什么是 12 字节/参数?训练显存的经验公式是什么?
  7. 四大块里哪一块和 batch 有关?这修正了什么错误直觉?
  8. 训练与推理账里各有什么?为何 14 GB 的权重能装下,十六条请求仍会超过本例预算?
  9. FP16 加法的演示计时若从 100 μs 改为 120 μs,按同样的 6,000,000 字节需求计算,有效带宽是多少?
  10. 什么是“带宽墙”?在什么条件下,硬件迭代会让带宽约束更突出?
👀 答案
  1. 在全容量可用的假设下,容量翻倍;独立位宽与每引脚数据率没变,标称带宽不变。8 颗从每颗 1 GiB 变成 2 GiB 时,总量由 8 变为 16 GiB,仍为 512 GB/s。
  2. I = F/Q,Q 要注明存储层级;B 与 Q 同层,P 与 F 的精度和执行路径匹配。156 是 A100 稠密 BF16/FP16 Tensor Core 矩阵峰值 312 TFLOP/s ÷ 取整 HBM 带宽 2.0 TB/s 的课堂参考,不适用于所有 kernel。
  3. 理想读写下 Q = 6n byte、F = n FLOP,I = 1/6 ≈ 0.17 FLOP/B;t ≥ max(Q/B, F/P)。本例 n=100 万、B=100 GB/s、加法路径 P=1 TFLOP/s,得 60 μs 理想下界,不能当实测。融合有机会减少中间值流量与启动,收益受依赖、资源和数值条件约束,不能据 Tensor Core 峰值算普通加法的单元闲置率。
  4. 约 1 FLOP/字节(BF16、忽略其他读写),可能受带宽限制。小批量稠密 decode 在权重完整流经 HBM 时常受带宽限制;批量、缓存、KV 与实现改变后须重新核算。
  5. 参数(14GB)、梯度(14GB)、优化器状态(84GB,最大)、激活(几 GB~几十 GB)。
  6. FP32 主权重副本 4 + Adam 的 m 4 + v 4 = 12。加上 BF16 参数 2 和梯度 2 共 16。经验公式:训练显存(GB) ≈ 16 × 参数量(B) + 激活。
  7. 激活通常随每卡 microbatch 增长,临时工作区也可能变化。 固定模型、精度和分片时,减小 microbatch 不会减掉优化器状态。
  8. 训练还要保留梯度和优化器状态。推理要留权重、KV、活跃的激活和工作区。十六条请求的 KV 约 8.389 GB,再加 14 + 2 + 1 = 17 GB,共 25.389 GB。
  9. 6,000,000 ÷ 0.000120 = 50 × 10⁹ 字节/秒,即 50 GB/s。仍需实际 HBM 字节计数才能评估显存链路的饱和度。
  10. 在同任务、精度、执行路径与流量层级下,若 P 增长快于 B,P/B 升高,I 不变的任务可能更受带宽限制。不能混用 FP32 与 Tensor Core 峰值推出普遍代际结论;复用、缓存和实现变化后仍须重算。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 04-Roofline与MFU.md ⭐。把两条资源下界画成 Roofline,再看怎样拿观测值与对应上限比较。

条件与依据

BF16 小批量稠密矩阵向量乘的权重主导近似是 2P FLOP ÷ 2P 字节 ≈ 1 FLOP/字节。Roofline 还假设有足够并行度;低算术强度不是整个程序的唯一诊断。图表跨不同设备/层级的带宽仅作量级示意,不能将聚合、双向与单向规格直接相除当有效带宽。训练估算器是启发式容量预算,检查点的 √L 形式不适用于所有策略。

依据:NVIDIA GPU 性能背景;Nsight Compute §2.9:Roofline 与执行路径;CUDA Best Practices 12.6 §8.2:标称、有效与实际流量。容量、事务与时间小例均为作者教学推导,未执行 GPU 性能实验。

打卡记录保存在你的浏览器里,首页能看到总进度