🏠 总目录📚 本教程 Roofline 与 MFU ← →

AI基础设施 · 04

屋顶线给出上界,为什么观测点还会在下面?

Roofline 比较算力与带宽给出的理想上界;MFU 比较另一套有效 FLOP 口径。低于上界还要查实现、调度和通信。

读完能判断:分清 Roofline 上界与 MFU 口径,再按时间线找等待和通信。

📑 本页目录(点开跳转)

04 · Roofline 与 MFU

⏱ 主线约 30 分钟(不含折叠选读) | ⭐ 估计性能上限与检查运行口径的工具


🎯 一句话

同一张卡上,逐元素加法常在等数据搬运,复用很多数据的矩阵运算又可能先碰到算力上限。沿用第 3 章的两笔时间账,先判断一个算子最多能跑多快,再算整段训练完成了多少模型工作。前者用屋顶线(Roofline),后者用模型浮点运算利用率(Model FLOPs Utilization,MFU)。

Roofline:性能上界与观测性能的区别 线性坐标教学假设:计算峰值8 TFLOP/s,带宽2 TB/s,拐点为4 FLOP/B。绿色实线为理论上界,手工示例圆点A为(1,1),方点B为(6,5),均低于相应上界。非硬件实测,也非MFU图。 Roofline 给出上界观测值可能低于它假设:峰值 8 TFLOP/s带宽 2 TB/s;线性坐标示意048048TFLOP/s算术强度 FLOP/B● 示例 A■ 示例 B计算上界带宽上界拐点 = 峰值算力 ÷ 带宽8 ÷ 2 = 4 FLOP/B上界 = min(8, 2 × 算术强度)低于上界还可能有调度或通信开销。Decode 的位置随批量、精度等变化;此图不把某个 MFU 区间定为铁律。
线性坐标的教学假设:峰值 8 TFLOP/s、带宽 2 TB/s。拐点为 4 FLOP/B;手工示例 A=(1,1)、B=(6,5) 均低于各自上界。这不是 A100 实测,也不是 MFU 图。

📈 一、Roofline 模型

读图先认两根轴。横轴是算术强度 I = F ÷ Q,即每搬一字节做多少次浮点运算。纵轴是性能 F ÷ t,即每秒实际完成的浮点运算次数。F 是本次运算量(FLOP),Q 是同一次任务在选定存储层级的实际读写字节数,t 是它的耗时(秒)。

为什么图上有两条上界?设 B 是这层的带宽上限(字节/秒),P 是对应精度和执行路径的算力上限(FLOP/s)。搬完 Q 字节至少要 Q ÷ B 秒,做完 F 次运算至少要 F ÷ P 秒。即使两件事能完全重叠,也得等较慢的那一项,所以时间取两个下界中较大的一个。

$$t \ge \max\!\left(\frac{Q}{B},\frac{F}{P}\right)$$

任务的运算量固定,时间越长,每秒完成的运算越少。除以搬运的时间下界,得到带宽所允许的速率 F ÷ (Q ÷ B) = I × B。除以计算的时间下界,得到 F ÷ (F ÷ P) = P。实际速率要同时满足两条限制,取较小的上界。

$$\frac{F}{t} \le \min\!\left(P,\frac{F}{Q}B\right) = \min(P, I B)$$

左边的斜坡对应 I × B,右边的水平线对应 P。两条线在 I × B = P 时相交,因此拐点是 P ÷ B。横坐标只告诉你哪条资源上界更紧,找实际瓶颈还要看观测点和时间线。Q 与 B 必须对应同一存储层级,F 与 P 必须匹配同一种运算路径与计数方式。

原图 A、B 两点的演示账本
比较项A(左侧)B(右侧)
强度(FLOP/B)16
上界(TFLOP/s)28
观测(TFLOP/s)15

先定硬件账。图中假设 P = 8 TFLOP/s、B = 2 TB/s。T 表示万亿(1012),拐点是 8 ÷ 2 = 4 FLOP/B。以下两个任务都做 60 亿次浮点运算,但在所选层级搬运的数据量不同。给定的观测耗时也是教学设定。

A 搬 60 亿字节。强度是 60 亿 ÷ 60 亿 = 1 FLOP/B,低于拐点。带宽上界是 1 × 2 = 2 TFLOP/s,取 2 和 8 中的较小值 2。若耗时 6 ms(0.006 秒),观测性能是 6 × 109 ÷ 0.006 = 1 × 1012 FLOP/s,即 1 TFLOP/s。

B 搬 10 亿字节。强度是 60 亿 ÷ 10 亿 = 6 FLOP/B,高于拐点。带宽上界是 6 × 2 = 12 TFLOP/s,取 12 和 8 中的较小值 8。若耗时 1.2 ms(0.0012 秒),观测性能是 6 × 109 ÷ 0.0012 = 5 × 1012 FLOP/s,即 5 TFLOP/s。

A、B 都在各自的边界下方。启动、同步和数据依赖都可能拉开差距。若通过复用少读了 HBM,就要用新的 HBM 字节数更新横坐标,不能把程序逻辑上的字节量和 HBM 的上界混算。

若用 A100 80GB SXM 稠密 BF16/FP16 Tensor Core 矩阵峰值 312 TFLOP/s、把 2,039 GB/s HBM 标称带宽取整为 2.0 TB/s,参考拐点约 156 FLOP/B;普通逐元素加法不能直接套这条 Tensor Core 屋顶。参见 NVIDIA A100 规格表,第 1 页。先看第 3 章同任务 Q/F/B/P 账本与 FP16 加法手算,再把测得的 F/t 放到匹配的图上。

你的 kernel 落在哪 说明 该优化什么
⭐ 斜坡上 在当前 B、P 与流量口径下接近带宽上界 优化【搬运】
⭐ 平台区但低于上界 可能受计算、调度、通信或实现限制,需结合时间线 检查执行路径、并行度、依赖与时间线;适用的矩阵运算再考虑 Tensor Core
⭐ 越过当前上界 观测与当前模型不一致 复核峰值路径、时钟、FLOP、流量层级及计时范围

依据:Roofline 原论文 §3用核函数的操作强度与带宽、算力画上界。Nsight Compute §2.9.1–2.9.2区分屋顶边界与观测点,并介绍 L1/L2/DRAM 等层级对应的 Roofline。

🔨 三步用起来

流程图

① 算这个 kernel 的 FLOP 和字节数→得到算术强度
② 在图上找到它的位置→知道理论上限是多少
③ 和实测对比:
· 接近理论上限→这个 kernel 接近本模型上界,先核对口径再找其他热点,去优化别的
· 远低于理论上限→先查调度、依赖、并行度与统计范围,不能仅凭差距判 bug ⭐

🔑 Roofline 最大的价值不是"告诉你能快多少", 而是"告诉你【不能】快多少" —— 若 Q 的计数层级不变、I 仍为 2 FLOP/B、该层 B 为 2 TB/s,则带宽上界为 4 TFLOP/s;改变复用、Q 或执行路径后,需要重画边界。 知道这个,你就不会在错误的地方浪费一周。


📊 二、MFU:从同一训练窗口算起

屋顶线比较一个算子的资源上界。训练时,我们还想知道:把读数据、前向、反向、同步、更新都算进同一段时间,整个集群每秒完成的模型工作,占所选理论算力的多大比例?这个比例就是 MFU。

记 U 为每个训练 token 的模型运算量(FLOP/token),D 为窗口内全局处理的 token 数,Δt 为窗口实际经过的秒数。G 是参与的同型号 GPU 数,Pg 是单卡在对应精度、执行路径和计数约定下的峰值(FLOP/s)。总工作量是 U × D,除以 Δt 得每秒有效工作量,再与总峰值 G × Pg 比。

$$\mathrm{MFU}=\frac{U \times (D/\Delta t)}{G \times P_g}$$

手算 8 卡训练的 20.2%

① 先数整段的 token。假设预热后 10 个完整训练步耗时 10 秒,每步全局处理 12,000 个训练 token。因此 D = 10 × 12,000 = 120,000,吞吐为 120,000 ÷ 10 = 12,000 token/s。训练步包含取批、前后向、同步与更新。已给全局值时不能再乘 8,张量并行的同一个 token 也不能按卡重复计。

② 把 token 换成模型工作量。稠密 Transformer 训练可先用 U ≈ 6N 粗算,N 是模型参数个数。前向的乘和加各记一次,矩阵乘约 2N;反向还要算输入梯度和权重梯度,两份各约 2N。7B 即 70 亿个参数,6 × 7 × 109 = 4.2 × 1010 FLOP/token。乘 12,000 token/s 得 5.04 × 1014 FLOP/s,也就是 504 TFLOP/s。

③ 和整组的峰值比。按 8 张 A100 的稠密 BF16 矩阵规格,每卡峰值 312 TFLOP/s。8 × 312 = 2,496 TFLOP/s。MFU 约为 504 ÷ 2,496 = 0.2019,即 20.2%。这里的 token、时间和模型均是教学假设。

取相同数量的完整训练步,用墙钟计时,并等设备完成最后一步的异步工作再停表。报告是否包含预热、评估和检查点,说明 padding 是否计入。把 token 计数、计时窗口和峰值口径写在结果旁边,才能比较两次运行。下方原程序用第 ① 步算好的全局吞吐,再计算第 ②、③ 步。

def mfu(params_B, tokens_per_sec, n_gpus, peak_tflops=312):
    """Transformer 训练的 MFU。peak_tflops: A100 BF16 = 312"""
    flops_per_token = 6 * params_B * 1e9
    achieved = flops_per_token * tokens_per_sec
    peak = n_gpus * peak_tflops * 1e12
    return achieved / peak

# 例:7B 模型,8 卡 A100,实测 12000 tokens/秒
print(f"MFU = {mfu(7, 12000, 8):.1%}")     # MFU = 20.2%   教学算例;需对照同口径基线判断
📐 展开:6N 从哪来,注意力何时要补算

设一层把 n 个输入分量变成 m 个输出分量,权重矩阵 W 有 m 行、n 列,共 mn 个参数。x 是一个 token 的输入向量,y 是输出向量,g 是损失对 y 的梯度。沿用乘加计两次的近似,三次主要计算如下。

三项相加约 $6mn$。例如 m = 2、n = 3,共 6 个参数,每项按 2 × 6 = 12 FLOP 计,合计约 36 FLOP。将主要训练矩阵的贡献加起来,得到近似 6N。这以参数相关的稠密矩阵乘为主,查表嵌入、冻结参数或只激活部分专家时要重做计数。优化器更新、重算等开销不放进这里的有效模型运算量。

自注意力还要算查询与键的分数,再用分数对值加权。这些矩阵乘的工作量随着序列长度变化,不能只看参数个数。PaLM 附录 B按稠密自注意力近似计为每 token 额外 $12LHdT$ FLOP。其中 L 是层数,H 是注意力头数,d 是每个头的维度,T 是序列 token 数。每个头的分数计算和加权各约 2dT 次,前向合计 4LHdT。再按两份反向矩阵乘计入,总量约 12LHdT。这是将稠密注意力矩阵乘按完整序列估算的约定,因果遮罩的跳算与具体实现要另核。

取教学设定 L = 32、H = 32、d = 128、T = 2,048,代入 12 × 32 × 32 × 128 × 2,048 = 3,221,225,472 FLOP/token,约 32.21 亿。它相当于 7B 算例中 420 亿的 32.21 ÷ 420 ≈ 7.7%。按这一约定补入注意力后,每 token 约 452.21 亿 FLOP,504 TFLOP/s 变为约 542.65 TFLOP/s,MFU 约 21.7%。是否纳入该项取决于形状与允许误差,没有统一的 8K 阈值。

📏 MFU 怎么判断(对照同口径基线)

比较前先对齐模型、序列与 batch、精度、硬件与卡数、FLOP 约定及计时范围,并记录实现和检查点策略的差异。下表是排查思路,不是实测基准或通用成绩线;单凭 45%、55% 或 60% 不能给任意训练任务判好坏。

同口径下的观测 能说明什么 该干什么
明显低于已有基线 值得定位回退原因,不能仅凭 MFU 判配置出错 先查数据等待,再看通信、形状、同步与实现
略低于已有基线 可能有测量波动或配置差异 先重复测量,再核对检查点、通信与融合
接近已有基线 与该任务已记录的实现水平相近 结合吞吐、时间线与质量寻找下一处热点
稳定高于已有基线 可能是该任务的效率改善 核对输入、质量与 FLOP 口径,复测后再确认收益
MFU 升高,吞吐却没升 工作量或计数口径可能改变 核对每 token FLOP、有效 token 数与计时范围
换硬件、精度或模型后数值不同 不再是同一个比较条件 重新核对峰值与 FLOP 定义并建立基线,不按固定百分比排序

通信、数据等待、启动、优化器更新和激活重算可能占时间,却不增加上述口径下的有效模型工作量。GPU-Util 是采样期内至少有一个核函数在执行的时间比例,即使只跑一个小内核也可以很高。MFU 还取决于全局吞吐和总峰值。用户侧延迟、超时与达标率要在服务层独立观测,见第 23 章。NVIDIA GPU-Util 字段说明


🔍 三、MFU 低了怎么查(按顺序)

流程图

① GPU 有没有在跑?→看 GPU-Util 和空档,先找时间线证据
② 数据管线跟得上吗?→把 dataloader 换成随机张量,MFU 变了吗?⭐
③ 通信占多少?→对照通信段是否在关键路径
④ 非矩阵乘操作占多少?→profiler 看 kernel 时间分布
⑤ 有没有用上 Tensor Core?→核对实际精度、矩阵形状与执行路径
⑥ 激活检查点是不是开太狠?→对照内存节省与重复计算的代价

⭐ 第 ② 步是最值得先做的诊断:

# 把真实数据换成固定的随机张量,其他不变
batch = torch.randint(0, vocab, (B, S), device='cuda')
# 如果 MFU 显著上升 → 瓶颈在数据管线,不在模型(第 22 章)

把片段当作排查骨架。对照时维持形状、精度和计时口径,确保随机输入不会改变有效 token 数或模型路径。若 MFU 明显上升,数据准备或传输是候选原因,再用 CPU/GPU 时间线定位具体环节。

🔬 用 PyTorch Profiler 找热点

# 🧩 骨架:`train_step` 来自你自己的代码,这一段只看写法
from torch.profiler import profile, ProfilerActivity, schedule

with profile(
    activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
    schedule=schedule(wait=1, warmup=2, active=3),   # ⭐ 跳过预热
    record_shapes=True, profile_memory=True, with_stack=True,
) as prof:
    for _ in range(6):
        train_step()
        prof.step()

print(prof.key_averages().table(
    sort_by="self_cuda_time_total", row_limit=20))   # ⭐ 看谁最耗时
prof.export_chrome_trace("trace.json")               # 拖进 chrome://tracing

读 trace 的三个信号:

你看到 说明
GPU 时间轴上有空隙 查看空档对应的数据、主机提交、同步和跨卡依赖
一堆小 kernel 密集排列 可能有启动或访存开销,用时间线核实 → 第 7 章
通信 kernel(nccl)占比大 检查通信是否与计算重叠,哪些等待拖长训练步

💰 四、另外两个你该会算的数

① 训练一个模型要多久

如果想估算一轮训练要多久,可以把上节的每秒有效运算量倒过来用。总训练 token 数记为 Drun,每 token 按 6N FLOP 粗估。令 M 为同类配置的 MFU(用小数),有效速率就是 G × Pg × M。总运算次数除以有效速率,得到估计耗时,单位是秒。

$$t_{\mathrm{run}} \approx \frac{6N D_{\mathrm{run}}}{G P_g M}$$

同一训练量,比两组效率

教学假设:7B 模型处理 1 万亿 token,用 64 张峰值 312 TFLOP/s 的 A100。总工作量约 6 × 7 × 109 × 1012 = 4.2 × 1022 FLOP。

MFU 45% 时,有效速率为 64 × 312 × 1012 × 0.45 = 8.9856 × 1015 FLOP/s。耗时约 4,674,145 秒,除以每天 86,400 秒,约 54.10 天。

MFU 25% 时,有效速率为 64 × 312 × 1012 × 0.25 = 4.992 × 1015 FLOP/s。耗时约 8,413,462 秒,约 97.38 天。

两者相差约 43.28 个墙钟天。64 张卡若全程计费,换算为卡时差约 43.28 × 24 × 64 ≈ 6.65 万 GPU 小时。这里假设效率长期稳定,故障、检查点和停机是否计入要看 MFU 的取窗。第 23 章会把这类 GPU 时长换算成费用。

② 推理成本

算一算

小批量稠密自回归 decode 的权重相关前向 FLOP ≈ 2 × 参数量 / token

条件:batch=1,每一步完整权重都从选定 HBM 流过;给定可用有效带宽,忽略 KV、通信、计算及调度等其他开销

在此模型中,每个输出 token 的权重流量 = 全部权重字节数;权重搬运可能先限制速度,不能只用 FLOP 估时

→ 权重流量给出的理想速度上界 = 给定有效 HBM 带宽 / 权重字节数

教学例:7B 模型 BF16(14GB),假设有效 HBM 带宽为 2TB/s(借 A100 规格量级标定,非本次实测)

2000 / 14 ≈ 143 tokens/秒 ← 上述 batch=1 模型的权重流量上界

🔑 这个"带宽除以模型大小"是推理领域最有用的心算公式: 在上述权重流量主导条件下,量化有机会通过减少权重读取而提速(端到端收益仍需实测), 也解释了为什么批处理可摊薄权重读取,但仍增加计算、KV 与调度开销(读一遍权重服务多个请求)。 🔗 第 15、16、18 章全建立在这上面。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 算术强度 Roofline 的横轴 ⭐
第 3 章 同任务账本与参考拐点 Q/B 与 F/P 要对应同一任务;156 有峰值路径和取整条件
第 1 章 先测再优化 本章就是"怎么测"
第 2 章 GPU-Util 有误导性 GPU-Util 看设备是否活跃,MFU 按模型运算和总峰值比较训练效率
《机器学习与深度学习基础》11 训练调试手册 「GPU 跑不满」 从设备忙碌的现象,走到同口径的有效工作量比较
《大模型全景导论》06 推理优化 量化 / 批处理 / 投机解码 本章用权重流量解释部分量化和批处理收益。投机解码还要算提议与验证的开销。
《模型上线之后》18 成本与容量 本章算的是机时;折成"一次请求多少钱、峰值要几台机器"在那边

✅ 检查点

  1. 原图为什么要取两条上界的较小值?A 和 B 各落在哪一侧,上界各是多少?
  2. Roofline 最大的价值是什么?(不是"能快多少")
  3. 窗口内处理 120,000 个 token,10 秒算出多少全局吞吐?在正文的 8 卡条件下,MFU 是多少?
  4. 为什么是 6N?这个公式什么时候会失准?
  5. 判断 MFU 前要对齐哪些比较条件?为什么 60% 不是通用好坏线或固定上限?
  6. MFU 低了,最值得先做的一个诊断实验是什么?
  7. 读 profiler trace 时,"GPU 时间轴有空隙"说明什么?
  8. 推理领域最有用的心算公式是什么?它解释了哪两件事?
👀 答案
  1. 实际速率必须同时低于带宽和算力两条上界。拐点为 8 ÷ 2 = 4 FLOP/B。A 的强度为 1,取 2 和 8 中的 2 TFLOP/s;B 的强度为 6,取 12 和 8 中的 8 TFLOP/s。
  2. 告诉你"不能"快多少。在 I = 2 FLOP/B、同层 B = 2 TB/s 且口径不变时,带宽上界为 4 TFLOP/s。若改变复用或字节数,要重新核算;观测值低于它仍需检查其他开销。
  3. 120,000 ÷ 10 = 12,000 token/s。按 6 × 70 亿得到每 token 420 亿 FLOP,乘吞吐得 504 TFLOP/s。总峰值是 8 × 312 = 2,496 TFLOP/s,504 ÷ 2,496 ≈ 20.2%。
  4. 对一个有 mn 个参数的权重矩阵,前向、输入梯度和权重梯度各约 2mn,合计 6mn。注意力的分数和加权矩阵乘不随这笔参数账直接计入。正文的示例按 PaLM 口径补算约 7.7%,是否纳入取决于模型形状和允许误差。
  5. 先与同口径基线比较:对齐模型、序列与 batch、精度、硬件与卡数、FLOP 约定及计时范围,并记录实现和检查点策略差异。通信、非矩阵乘操作、数据加载、启动和优化器更新会占时间;相同百分比在不同任务里意义不同,不能用 45–60% 作为通用成绩线或固定上限。
  6. 用同形状的固定输入排除部分数据准备开销。如果 MFU 上升,再检查时间线,区分读取、预处理、传输或主机提交造成的等待。
  7. 空档表明这一段没有 GPU 工作。与主机、数据、同步和其他卡的时间线对齐,才能判断在等什么。
  8. 在 batch=1 的稠密自回归 decode、每步完整权重从选定 HBM 流过的模型中,权重流量上界 = 给定有效 HBM 带宽 ÷ 权重字节数。忽略 KV、通信、计算和调度等开销,教学假设 2TB/s ÷ 14GB ≈ 143 tokens/秒。量化有机会减少权重读取;批处理可摊薄权重读取,但会改变计算、KV 与调度开销,端到端速度仍需实测。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 05-互联与集群拓扑.md

条件与依据

小批量、权重完整流经 HBM 的稠密 decode 可用“有效带宽 ÷ 权重字节数”作理想参考,忽略了 KV、通信、计算及调度。MFU 不是通用成绩线;序列何时必须计入注意力项应按相对 FLOP 大小判断,没有统一 8K 阈值。表中低 MFU 是排查入口,不足以证明配置出错。

官方文档

打卡记录保存在你的浏览器里,首页能看到总进度