04 · Roofline 与 MFU

⏱ 28 分钟 ｜ ⭐ 唯一能回答"我还有多少空间"的工具

🎯 一句话

不会算 MFU，你的所有优化都是盲调。 这一章给你两个工具：Roofline 告诉你瓶颈在哪，MFU 告诉你离天花板还有多远。

📈 一、Roofline 模型

横轴是算术强度（FLOP/字节），纵轴是性能（TFLOPS）。曲线由两段拼成：左边一段斜坡（斜率 = 显存带宽，这是带宽上限），右边一段水平屋顶（算力上限，A100 是 312 TFLOPS）。两段的交点就是拐点，A100 落在 156 FLOP/字节。你的每个 kernel 都会落在这张图的某个位置上：

$$\text{可达性能} = \min(\text{峰值算力},\; \text{算术强度} \times \text{带宽})$$

💡 人话：要么被算力卡住，要么被带宽卡住，取小的那个。

🔨 三步用起来

🔑 Roofline 最大的价值不是"告诉你能快多少"， 而是"告诉你【不能】快多少" —— 一个算术强度只有 2 的 kernel，无论你怎么优化计算，都不可能超过 4 TFLOPS。 知道这个，你就不会在错误的地方浪费一周。

📊 二、MFU：最重要的一个指标

$$\text{MFU} = \frac{\text{实际有效算力}}{\text{硬件峰值算力}}$$

怎么算（这是你真正会用到的）：

def mfu(params_B, tokens_per_sec, n_gpus, peak_tflops=312):
    """Transformer 训练的 MFU。peak_tflops: A100 BF16 = 312"""
    flops_per_token = 6 * params_B * 1e9
    achieved = flops_per_token * tokens_per_sec
    peak = n_gpus * peak_tflops * 1e12
    return achieved / peak

# 例：7B 模型，8 卡 A100，实测 12000 tokens/秒
print(f"MFU = {mfu(7, 12000, 8):.1%}")     # MFU = 20.2%   ⚠️ 偏低，有优化空间

📏 MFU 该是多少（对照基准）

🔑 为什么天花板是 60% 而不是 100%： 存在无法消除的开销 —— 通信、非矩阵乘操作（LayerNorm/Softmax/激活函数）、 数据加载、kernel 启动、优化器更新。这些都不算进"有效 FLOP"但要占时间。

🔍 三、MFU 低了怎么查（按顺序）

⭐ 第 ② 步是最值得先做的诊断：

# 把真实数据换成固定的随机张量，其他不变
batch = torch.randint(0, vocab, (B, S), device='cuda')
# 如果 MFU 显著上升 → 瓶颈在数据管线，不在模型（第 22 章）

这一个实验能在 5 分钟内排除掉一整类问题。

🔬 用 PyTorch Profiler 找热点

# 🧩 骨架：`train_step` 来自你自己的代码，这一段只看写法
from torch.profiler import profile, ProfilerActivity, schedule

with profile(
    activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
    schedule=schedule(wait=1, warmup=2, active=3),   # ⭐ 跳过预热
    record_shapes=True, profile_memory=True, with_stack=True,
) as prof:
    for _ in range(6):
        train_step()
        prof.step()

print(prof.key_averages().table(
    sort_by="self_cuda_time_total", row_limit=20))   # ⭐ 看谁最耗时
prof.export_chrome_trace("trace.json")               # 拖进 chrome://tracing

读 trace 的三个信号：

💰 四、另外两个你该会算的数

① 训练一个模型要多久

$$\text{训练时间} \approx \frac{6 \times N \times D}{\text{GPU数} \times \text{峰值FLOPS} \times \text{MFU}}$$

（N = 参数量，D = 训练 token 数）

💡 这个公式的实用价值：在开始训练之前就能估算成本。 MFU 从 25% 提到 45%，在这个例子里省下的机时价值几十万元。

② 推理成本

🔑 这个"带宽除以模型大小"是推理领域最有用的心算公式： 它解释了为什么量化能直接提速（模型小一半 → 速度快一倍）， 也解释了为什么批处理是免费的（读一遍权重服务多个请求）。 🔗 第 15、16、18 章全建立在这上面。

🔗 和站内其他章的关系

✅ 检查点

1. Roofline 模型的两条线分别代表什么？拐点在哪？
2. Roofline 最大的价值是什么？（不是"能快多少"）
3. MFU 怎么算？Transformer 每 token 的训练 FLOP 是多少？
4. 为什么是 6N？这个公式什么时候会失准？
5. MFU 多少算良好？为什么天花板是 60% 而不是 100%？
6. MFU 低了，最值得先做的一个诊断实验是什么？
7. 读 profiler trace 时，"GPU 时间轴有空隙"说明什么？
8. 推理领域最有用的心算公式是什么？它解释了哪两件事？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 05-互联与集群拓扑.md