23 · 可观测性与成本

# ⭐ 训练时该记的最小指标集
import torch
metrics = {
    "loss": loss.item(),
    "grad_norm": gn.item(),
    "lr": sched.get_last_lr()[0],
    "mfu": compute_mfu(tokens_per_sec),           # 第 4 章
    "step_time_ms": dt * 1000,
    "data_wait_ms": data_wait * 1000,             # ⭐ 数据等待时间
    "mem_alloc_gb": torch.cuda.max_memory_allocated() / 1e9,
    "mem_reserved_gb": torch.cuda.max_memory_reserved() / 1e9,  # ⭐ 差值=碎片
    "tokens_seen": total_tokens,
}

   训练总成本 = GPU 小时数 × 单价
              = (6 × N × D) / (卡数 × 峰值FLOPS × MFU) / 3600 × 卡数 × 单价

   ⭐ 简化后：训练成本 ∝ 1 / MFU

   → MFU 从 25% 提到 50%，成本【直接减半】

def training_cost(params_B, tokens_T, n_gpus, mfu,
                  peak_tflops=312, hourly=2.0):
    flops = 6 * params_B * 1e9 * tokens_T * 1e12
    seconds = flops / (n_gpus * peak_tflops * 1e12 * mfu)
    return seconds / 3600 * n_gpus * hourly, seconds / 86400

cost, days = training_cost(7, 1.0, 64, 0.45)
print(f"MFU 45%: ${cost:,.0f}，{days:.0f} 天")   # $6,912，54 天
cost, days = training_cost(7, 1.0, 64, 0.25)
print(f"MFU 25%: ${cost:,.0f}，{days:.0f} 天")   # $12,442，97 天  ⭐ 多花 80%

   每百万 token 成本 = GPU 时价 ÷ (吞吐 × 3600 × 利用率) × 1e6

   ⭐ 三个杠杆，收益依次递减：
   ① 提高吞吐        （量化、连续批处理、更好的引擎）→ 常有 5-10 倍空间
   ② 提高平均利用率  （把离线任务填到低峰期）        → 常有 2 倍空间 ⭐
   ③ 换更便宜的卡    （量化后可能装得下）            → 1.5-3 倍

# ⭐ Nsight Systems：看多卡的通信和计算是否重叠
nsys profile -t cuda,nvtx,nccl -o report python train.py

# 给代码段打标记，在时间线上能看到

import torch.cuda.nvtx as nvtx
with nvtx.range("forward"):   out = model(x)
with nvtx.range("backward"):  loss.backward()
with nvtx.range("optimizer"): opt.step()
# ⭐ 这样在 Nsight 时间线上能一眼看出各阶段占比

   ① 建立基线
      · 记录当前 MFU / 吞吐 / 成本
      · ⭐ 没有基线就没有"改进"，只有"感觉变快了"

   ② 定位瓶颈（按顺序排除）
      · 数据管线？    → 换随机张量测（第 22 章）
      · 通信？        → 单卡 vs 多卡对比
      · 显存/碎片？   → memory snapshot
      · 算子？        → profiler 看 top kernel
      · 算力/带宽？   → 算算术强度（第 3 章）

   ③ 只改一件事，然后测
      · ⭐ 同时改两个，你不知道是哪个起作用
      · 也不知道它们有没有互相抵消

   ④ 记录到实验表
      · 改动、MFU、吞吐、成本、结论

   ⑤ 回到 ②