AI基础设施 · 04
屋顶线给出上界,为什么观测点还会在下面?
Roofline 比较算力与带宽给出的理想上界;MFU 比较另一套有效 FLOP 口径。低于上界还要查实现、调度和通信。
读完能判断:分清 Roofline 上界与 MFU 口径,再按时间线找等待和通信。
📑 本页目录(点开跳转)
04 · Roofline 与 MFU
⏱ 主线约 30 分钟(不含折叠选读) | ⭐ 估计性能上限与检查运行口径的工具
🎯 一句话
同一张卡上,逐元素加法常在等数据搬运,复用很多数据的矩阵运算又可能先碰到算力上限。沿用第 3 章的两笔时间账,先判断一个算子最多能跑多快,再算整段训练完成了多少模型工作。前者用屋顶线(Roofline),后者用模型浮点运算利用率(Model FLOPs Utilization,MFU)。
📈 一、Roofline 模型
读图先认两根轴。横轴是算术强度 I = F ÷ Q,即每搬一字节做多少次浮点运算。纵轴是性能 F ÷ t,即每秒实际完成的浮点运算次数。F 是本次运算量(FLOP),Q 是同一次任务在选定存储层级的实际读写字节数,t 是它的耗时(秒)。
为什么图上有两条上界?设 B 是这层的带宽上限(字节/秒),P 是对应精度和执行路径的算力上限(FLOP/s)。搬完 Q 字节至少要 Q ÷ B 秒,做完 F 次运算至少要 F ÷ P 秒。即使两件事能完全重叠,也得等较慢的那一项,所以时间取两个下界中较大的一个。
$$t \ge \max\!\left(\frac{Q}{B},\frac{F}{P}\right)$$
任务的运算量固定,时间越长,每秒完成的运算越少。除以搬运的时间下界,得到带宽所允许的速率 F ÷ (Q ÷ B) = I × B。除以计算的时间下界,得到 F ÷ (F ÷ P) = P。实际速率要同时满足两条限制,取较小的上界。
$$\frac{F}{t} \le \min\!\left(P,\frac{F}{Q}B\right) = \min(P, I B)$$
左边的斜坡对应 I × B,右边的水平线对应 P。两条线在 I × B = P 时相交,因此拐点是 P ÷ B。横坐标只告诉你哪条资源上界更紧,找实际瓶颈还要看观测点和时间线。Q 与 B 必须对应同一存储层级,F 与 P 必须匹配同一种运算路径与计数方式。
| 比较项 | A(左侧) | B(右侧) |
|---|---|---|
| 强度(FLOP/B) | 1 | 6 |
| 上界(TFLOP/s) | 2 | 8 |
| 观测(TFLOP/s) | 1 | 5 |
先定硬件账。图中假设 P = 8 TFLOP/s、B = 2 TB/s。T 表示万亿(1012),拐点是 8 ÷ 2 = 4 FLOP/B。以下两个任务都做 60 亿次浮点运算,但在所选层级搬运的数据量不同。给定的观测耗时也是教学设定。
A 搬 60 亿字节。强度是 60 亿 ÷ 60 亿 = 1 FLOP/B,低于拐点。带宽上界是 1 × 2 = 2 TFLOP/s,取 2 和 8 中的较小值 2。若耗时 6 ms(0.006 秒),观测性能是 6 × 109 ÷ 0.006 = 1 × 1012 FLOP/s,即 1 TFLOP/s。
B 搬 10 亿字节。强度是 60 亿 ÷ 10 亿 = 6 FLOP/B,高于拐点。带宽上界是 6 × 2 = 12 TFLOP/s,取 12 和 8 中的较小值 8。若耗时 1.2 ms(0.0012 秒),观测性能是 6 × 109 ÷ 0.0012 = 5 × 1012 FLOP/s,即 5 TFLOP/s。
A、B 都在各自的边界下方。启动、同步和数据依赖都可能拉开差距。若通过复用少读了 HBM,就要用新的 HBM 字节数更新横坐标,不能把程序逻辑上的字节量和 HBM 的上界混算。
若用 A100 80GB SXM 稠密 BF16/FP16 Tensor Core 矩阵峰值 312 TFLOP/s、把 2,039 GB/s HBM 标称带宽取整为 2.0 TB/s,参考拐点约 156 FLOP/B;普通逐元素加法不能直接套这条 Tensor Core 屋顶。参见 NVIDIA A100 规格表,第 1 页。先看第 3 章同任务 Q/F/B/P 账本与 FP16 加法手算,再把测得的 F/t 放到匹配的图上。
| 你的 kernel 落在哪 | 说明 | 该优化什么 |
|---|---|---|
| ⭐ 斜坡上 | 在当前 B、P 与流量口径下接近带宽上界 | 优化【搬运】 |
| ⭐ 平台区但低于上界 | 可能受计算、调度、通信或实现限制,需结合时间线 | 检查执行路径、并行度、依赖与时间线;适用的矩阵运算再考虑 Tensor Core |
| ⭐ 越过当前上界 | 观测与当前模型不一致 | 复核峰值路径、时钟、FLOP、流量层级及计时范围 |
依据:Roofline 原论文 §3用核函数的操作强度与带宽、算力画上界。Nsight Compute §2.9.1–2.9.2区分屋顶边界与观测点,并介绍 L1/L2/DRAM 等层级对应的 Roofline。
🔨 三步用起来
流程图
🔑 Roofline 最大的价值不是"告诉你能快多少", 而是"告诉你【不能】快多少" —— 若 Q 的计数层级不变、I 仍为 2 FLOP/B、该层 B 为 2 TB/s,则带宽上界为 4 TFLOP/s;改变复用、Q 或执行路径后,需要重画边界。 知道这个,你就不会在错误的地方浪费一周。
📊 二、MFU:从同一训练窗口算起
屋顶线比较一个算子的资源上界。训练时,我们还想知道:把读数据、前向、反向、同步、更新都算进同一段时间,整个集群每秒完成的模型工作,占所选理论算力的多大比例?这个比例就是 MFU。
记 U 为每个训练 token 的模型运算量(FLOP/token),D 为窗口内全局处理的 token 数,Δt 为窗口实际经过的秒数。G 是参与的同型号 GPU 数,Pg 是单卡在对应精度、执行路径和计数约定下的峰值(FLOP/s)。总工作量是 U × D,除以 Δt 得每秒有效工作量,再与总峰值 G × Pg 比。
$$\mathrm{MFU}=\frac{U \times (D/\Delta t)}{G \times P_g}$$
手算 8 卡训练的 20.2%
① 先数整段的 token。假设预热后 10 个完整训练步耗时 10 秒,每步全局处理 12,000 个训练 token。因此 D = 10 × 12,000 = 120,000,吞吐为 120,000 ÷ 10 = 12,000 token/s。训练步包含取批、前后向、同步与更新。已给全局值时不能再乘 8,张量并行的同一个 token 也不能按卡重复计。
② 把 token 换成模型工作量。稠密 Transformer 训练可先用 U ≈ 6N 粗算,N 是模型参数个数。前向的乘和加各记一次,矩阵乘约 2N;反向还要算输入梯度和权重梯度,两份各约 2N。7B 即 70 亿个参数,6 × 7 × 109 = 4.2 × 1010 FLOP/token。乘 12,000 token/s 得 5.04 × 1014 FLOP/s,也就是 504 TFLOP/s。
③ 和整组的峰值比。按 8 张 A100 的稠密 BF16 矩阵规格,每卡峰值 312 TFLOP/s。8 × 312 = 2,496 TFLOP/s。MFU 约为 504 ÷ 2,496 = 0.2019,即 20.2%。这里的 token、时间和模型均是教学假设。
取相同数量的完整训练步,用墙钟计时,并等设备完成最后一步的异步工作再停表。报告是否包含预热、评估和检查点,说明 padding 是否计入。把 token 计数、计时窗口和峰值口径写在结果旁边,才能比较两次运行。下方原程序用第 ① 步算好的全局吞吐,再计算第 ②、③ 步。
def mfu(params_B, tokens_per_sec, n_gpus, peak_tflops=312):
"""Transformer 训练的 MFU。peak_tflops: A100 BF16 = 312"""
flops_per_token = 6 * params_B * 1e9
achieved = flops_per_token * tokens_per_sec
peak = n_gpus * peak_tflops * 1e12
return achieved / peak
# 例:7B 模型,8 卡 A100,实测 12000 tokens/秒
print(f"MFU = {mfu(7, 12000, 8):.1%}") # MFU = 20.2% 教学算例;需对照同口径基线判断
📐 展开:6N 从哪来,注意力何时要补算
设一层把 n 个输入分量变成 m 个输出分量,权重矩阵 W 有 m 行、n 列,共 mn 个参数。x 是一个 token 的输入向量,y 是输出向量,g 是损失对 y 的梯度。沿用乘加计两次的近似,三次主要计算如下。
- 前向:$y = Wx$,各输出对 $n$ 项做乘加,约 $2mn$ FLOP。
- 反向对输入的梯度:$W^\top g$,$\top$ 表示把行列互换,再做矩阵与向量的乘法,约 $2mn$ FLOP。
- 反向对权重的梯度:$g x^\top$ 产生一个 $m$ 行、$n$ 列的梯度矩阵。按批量训练中各 token 对权重梯度做乘加累积的口径,每 token 计约 $2mn$ FLOP。
三项相加约 $6mn$。例如 m = 2、n = 3,共 6 个参数,每项按 2 × 6 = 12 FLOP 计,合计约 36 FLOP。将主要训练矩阵的贡献加起来,得到近似 6N。这以参数相关的稠密矩阵乘为主,查表嵌入、冻结参数或只激活部分专家时要重做计数。优化器更新、重算等开销不放进这里的有效模型运算量。
自注意力还要算查询与键的分数,再用分数对值加权。这些矩阵乘的工作量随着序列长度变化,不能只看参数个数。PaLM 附录 B按稠密自注意力近似计为每 token 额外 $12LHdT$ FLOP。其中 L 是层数,H 是注意力头数,d 是每个头的维度,T 是序列 token 数。每个头的分数计算和加权各约 2dT 次,前向合计 4LHdT。再按两份反向矩阵乘计入,总量约 12LHdT。这是将稠密注意力矩阵乘按完整序列估算的约定,因果遮罩的跳算与具体实现要另核。
取教学设定 L = 32、H = 32、d = 128、T = 2,048,代入 12 × 32 × 32 × 128 × 2,048 = 3,221,225,472 FLOP/token,约 32.21 亿。它相当于 7B 算例中 420 亿的 32.21 ÷ 420 ≈ 7.7%。按这一约定补入注意力后,每 token 约 452.21 亿 FLOP,504 TFLOP/s 变为约 542.65 TFLOP/s,MFU 约 21.7%。是否纳入该项取决于形状与允许误差,没有统一的 8K 阈值。
📏 MFU 怎么判断(对照同口径基线)
比较前先对齐模型、序列与 batch、精度、硬件与卡数、FLOP 约定及计时范围,并记录实现和检查点策略的差异。下表是排查思路,不是实测基准或通用成绩线;单凭 45%、55% 或 60% 不能给任意训练任务判好坏。
| 同口径下的观测 | 能说明什么 | 该干什么 |
|---|---|---|
| 明显低于已有基线 | 值得定位回退原因,不能仅凭 MFU 判配置出错 | 先查数据等待,再看通信、形状、同步与实现 |
| 略低于已有基线 | 可能有测量波动或配置差异 | 先重复测量,再核对检查点、通信与融合 |
| 接近已有基线 | 与该任务已记录的实现水平相近 | 结合吞吐、时间线与质量寻找下一处热点 |
| 稳定高于已有基线 | 可能是该任务的效率改善 | 核对输入、质量与 FLOP 口径,复测后再确认收益 |
| MFU 升高,吞吐却没升 | 工作量或计数口径可能改变 | 核对每 token FLOP、有效 token 数与计时范围 |
| 换硬件、精度或模型后数值不同 | 不再是同一个比较条件 | 重新核对峰值与 FLOP 定义并建立基线,不按固定百分比排序 |
通信、数据等待、启动、优化器更新和激活重算可能占时间,却不增加上述口径下的有效模型工作量。GPU-Util 是采样期内至少有一个核函数在执行的时间比例,即使只跑一个小内核也可以很高。MFU 还取决于全局吞吐和总峰值。用户侧延迟、超时与达标率要在服务层独立观测,见第 23 章。NVIDIA GPU-Util 字段说明
🔍 三、MFU 低了怎么查(按顺序)
流程图
⭐ 第 ② 步是最值得先做的诊断:
# 把真实数据换成固定的随机张量,其他不变 batch = torch.randint(0, vocab, (B, S), device='cuda') # 如果 MFU 显著上升 → 瓶颈在数据管线,不在模型(第 22 章)把片段当作排查骨架。对照时维持形状、精度和计时口径,确保随机输入不会改变有效 token 数或模型路径。若 MFU 明显上升,数据准备或传输是候选原因,再用 CPU/GPU 时间线定位具体环节。
🔬 用 PyTorch Profiler 找热点
# 🧩 骨架:`train_step` 来自你自己的代码,这一段只看写法
from torch.profiler import profile, ProfilerActivity, schedule
with profile(
activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
schedule=schedule(wait=1, warmup=2, active=3), # ⭐ 跳过预热
record_shapes=True, profile_memory=True, with_stack=True,
) as prof:
for _ in range(6):
train_step()
prof.step()
print(prof.key_averages().table(
sort_by="self_cuda_time_total", row_limit=20)) # ⭐ 看谁最耗时
prof.export_chrome_trace("trace.json") # 拖进 chrome://tracing
读 trace 的三个信号:
| 你看到 | 说明 |
|---|---|
| GPU 时间轴上有空隙 | 查看空档对应的数据、主机提交、同步和跨卡依赖 |
| 一堆小 kernel 密集排列 | 可能有启动或访存开销,用时间线核实 → 第 7 章 |
| 通信 kernel(nccl)占比大 | 检查通信是否与计算重叠,哪些等待拖长训练步 |
💰 四、另外两个你该会算的数
① 训练一个模型要多久
如果想估算一轮训练要多久,可以把上节的每秒有效运算量倒过来用。总训练 token 数记为 Drun,每 token 按 6N FLOP 粗估。令 M 为同类配置的 MFU(用小数),有效速率就是 G × Pg × M。总运算次数除以有效速率,得到估计耗时,单位是秒。
$$t_{\mathrm{run}} \approx \frac{6N D_{\mathrm{run}}}{G P_g M}$$
同一训练量,比两组效率
教学假设:7B 模型处理 1 万亿 token,用 64 张峰值 312 TFLOP/s 的 A100。总工作量约 6 × 7 × 109 × 1012 = 4.2 × 1022 FLOP。
MFU 45% 时,有效速率为 64 × 312 × 1012 × 0.45 = 8.9856 × 1015 FLOP/s。耗时约 4,674,145 秒,除以每天 86,400 秒,约 54.10 天。
MFU 25% 时,有效速率为 64 × 312 × 1012 × 0.25 = 4.992 × 1015 FLOP/s。耗时约 8,413,462 秒,约 97.38 天。
两者相差约 43.28 个墙钟天。64 张卡若全程计费,换算为卡时差约 43.28 × 24 × 64 ≈ 6.65 万 GPU 小时。这里假设效率长期稳定,故障、检查点和停机是否计入要看 MFU 的取窗。第 23 章会把这类 GPU 时长换算成费用。
② 推理成本
算一算
小批量稠密自回归 decode 的权重相关前向 FLOP ≈ 2 × 参数量 / token
条件:batch=1,每一步完整权重都从选定 HBM 流过;给定可用有效带宽,忽略 KV、通信、计算及调度等其他开销
在此模型中,每个输出 token 的权重流量 = 全部权重字节数;权重搬运可能先限制速度,不能只用 FLOP 估时
→ 权重流量给出的理想速度上界 = 给定有效 HBM 带宽 / 权重字节数
教学例:7B 模型 BF16(14GB),假设有效 HBM 带宽为 2TB/s(借 A100 规格量级标定,非本次实测)
2000 / 14 ≈ 143 tokens/秒 ← 上述 batch=1 模型的权重流量上界
🔑 这个"带宽除以模型大小"是推理领域最有用的心算公式: 在上述权重流量主导条件下,量化有机会通过减少权重读取而提速(端到端收益仍需实测), 也解释了为什么批处理可摊薄权重读取,但仍增加计算、KV 与调度开销(读一遍权重服务多个请求)。 🔗 第 15、16、18 章全建立在这上面。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 算术强度 | Roofline 的横轴 ⭐ |
| 第 3 章 同任务账本与参考拐点 | Q/B 与 F/P 要对应同一任务;156 有峰值路径和取整条件 |
| 第 1 章 先测再优化 | 本章就是"怎么测" |
| 第 2 章 GPU-Util 有误导性 | GPU-Util 看设备是否活跃,MFU 按模型运算和总峰值比较训练效率 |
| 《机器学习与深度学习基础》11 训练调试手册 「GPU 跑不满」 | 从设备忙碌的现象,走到同口径的有效工作量比较 |
| 《大模型全景导论》06 推理优化 量化 / 批处理 / 投机解码 | 本章用权重流量解释部分量化和批处理收益。投机解码还要算提议与验证的开销。 |
| 《模型上线之后》18 成本与容量 | 本章算的是机时;折成"一次请求多少钱、峰值要几台机器"在那边 |
✅ 检查点
- 原图为什么要取两条上界的较小值?A 和 B 各落在哪一侧,上界各是多少?
- Roofline 最大的价值是什么?(不是"能快多少")
- 窗口内处理 120,000 个 token,10 秒算出多少全局吞吐?在正文的 8 卡条件下,MFU 是多少?
- 为什么是 6N?这个公式什么时候会失准?
- 判断 MFU 前要对齐哪些比较条件?为什么 60% 不是通用好坏线或固定上限?
- MFU 低了,最值得先做的一个诊断实验是什么?
- 读 profiler trace 时,"GPU 时间轴有空隙"说明什么?
- 推理领域最有用的心算公式是什么?它解释了哪两件事?
👀 答案
- 实际速率必须同时低于带宽和算力两条上界。拐点为 8 ÷ 2 = 4 FLOP/B。A 的强度为 1,取 2 和 8 中的 2 TFLOP/s;B 的强度为 6,取 12 和 8 中的 8 TFLOP/s。
- 告诉你"不能"快多少。在 I = 2 FLOP/B、同层 B = 2 TB/s 且口径不变时,带宽上界为 4 TFLOP/s。若改变复用或字节数,要重新核算;观测值低于它仍需检查其他开销。
- 120,000 ÷ 10 = 12,000 token/s。按 6 × 70 亿得到每 token 420 亿 FLOP,乘吞吐得 504 TFLOP/s。总峰值是 8 × 312 = 2,496 TFLOP/s,504 ÷ 2,496 ≈ 20.2%。
- 对一个有 mn 个参数的权重矩阵,前向、输入梯度和权重梯度各约 2mn,合计 6mn。注意力的分数和加权矩阵乘不随这笔参数账直接计入。正文的示例按 PaLM 口径补算约 7.7%,是否纳入取决于模型形状和允许误差。
- 先与同口径基线比较:对齐模型、序列与 batch、精度、硬件与卡数、FLOP 约定及计时范围,并记录实现和检查点策略差异。通信、非矩阵乘操作、数据加载、启动和优化器更新会占时间;相同百分比在不同任务里意义不同,不能用 45–60% 作为通用成绩线或固定上限。
- 用同形状的固定输入排除部分数据准备开销。如果 MFU 上升,再检查时间线,区分读取、预处理、传输或主机提交造成的等待。
- 空档表明这一段没有 GPU 工作。与主机、数据、同步和其他卡的时间线对齐,才能判断在等什么。
- 在 batch=1 的稠密自回归 decode、每步完整权重从选定 HBM 流过的模型中,权重流量上界 = 给定有效 HBM 带宽 ÷ 权重字节数。忽略 KV、通信、计算和调度等开销,教学假设 2TB/s ÷ 14GB ≈ 143 tokens/秒。量化有机会减少权重读取;批处理可摊薄权重读取,但会改变计算、KV 与调度开销,端到端速度仍需实测。
本节回顾
⚡ 走神救援
先记住这几件事
- Roofline 用同任务、同流量层级和匹配的执行峰值给出性能上界;实际观测可能更低。
- MFU 用同一个完整窗口的全局吞吐估算有效模型 FLOP,再和匹配精度的集群总峰值比。
- 先保留基线,再从时间线检查数据等待、通信与算子开销。下一章会展开不同互联路径怎样改变等待。
下一节 👉 05-互联与集群拓扑.md
条件与依据
小批量、权重完整流经 HBM 的稠密 decode 可用“有效带宽 ÷ 权重字节数”作理想参考,忽略了 KV、通信、计算及调度。MFU 不是通用成绩线;序列何时必须计入注意力项应按相对 FLOP 大小判断,没有统一 8K 阈值。表中低 MFU 是排查入口,不足以证明配置出错。