21 · 训练稳定性与故障恢复

   假设单张 GPU 的平均无故障时间（MTBF）是 10000 小时

   1000 张卡同时跑：
   → 集群的 MTBF ≈ 10000 / 1000 = 10 小时 ⭐

   → 也就是说：【平均每 10 小时就会坏一次】
   → 一个月的训练会遇到几十次故障

   ⭐ 结论：checkpoint 和自动恢复不是"锦上添花"，
     它决定了你的训练【能不能完成】

   ⭐ 频率的权衡：

   太频繁 → 写 checkpoint 的时间占比高（70B 模型一次要几分钟）
   太稀疏 → 一次故障损失几小时的算力

   ⭐ 经验公式：
   最优间隔 ≈ √(2 × 单次checkpoint耗时 × MTBF)

   例：checkpoint 耗时 5 分钟，MTBF 10 小时
   → √(2 × 5 × 600) ≈ 77 分钟  → 每小时存一次差不多

# ⭐ PyTorch 分布式 checkpoint（异步 + 分片）
import torch.distributed.checkpoint as dcp

fut = dcp.async_save(
    {"model": model, "optim": opt, "step": step, "rng": get_rng_state()},
    checkpoint_id=f"ckpt/step-{step}")
# 训练继续，不阻塞 ⭐

   □ 模型权重
   □ 优化器状态（m、v）
   □ 学习率调度器状态          ← 常被漏 ⚠️
   □ 当前 step / epoch
   □ 【数据加载器的位置】       ← 最常被漏 ⭐⭐
   □ 随机数状态（torch/numpy/python）
   □ 混合精度的 scaler 状态

   💥 漏了数据位置的后果：恢复后【重新从头读数据】
      → 某些样本被训练多次，某些完全没见过
      → 而这【不会报错】，你可能永远不知道

   ⚠️ 崩溃是【好】故障——它会告诉你出事了
     真正危险的是【静默失败】：训练照跑，loss 也在降，但结果是错的

# ⭐ 一个便宜的静默错误探测器：定期检查各 rank 是否一致
import torch
def sanity_check_across_ranks(loss, grad_norm, step):
    t = torch.tensor([loss, grad_norm], device='cuda')
    gathered = [torch.zeros_like(t) for _ in range(dist.get_world_size())]
    dist.all_gather(gathered, t)
    if dist.get_rank() == 0:
        vals = torch.stack(gathered)
        spread = (vals.max(0).values - vals.min(0).values) / (vals.mean(0).abs() + 1e-9)
        if spread.max() > 0.5:          # ⭐ 各卡差异过大 = 有问题
            print(f"⚠️ step {step} rank 间差异异常: {vals}")

   大模型训练常见现象：loss 突然飙升，然后可能恢复、也可能再也回不来

   ⭐ 常见原因：
   ├─ 学习率过大 / warmup 太短
   ├─ 某个 batch 有异常数据（超长、乱码、重复）⭐
   ├─ FP16 溢出（换 BF16，第 6 章）
   ├─ 梯度裁剪阈值不合适
   └─ 数值不稳定（attention logits 过大、LayerNorm 位置）

# ⭐ 跳过异常 batch：非常便宜，收益很大
import torch
gn = torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
grad_history.append(gn.item())
median = statistics.median(grad_history[-100:])

if gn > 10 * median and len(grad_history) > 100:
    opt.zero_grad(set_to_none=True)        # ⭐ 丢弃这一步
    log(f"skip step {step}, grad_norm={gn:.1f} vs median {median:.1f}")
else:
    opt.step(); opt.zero_grad(set_to_none=True)

   ⭐ 目标：故障后【自动】恢复，不需要人半夜爬起来

   torchrun --nnodes=8 --nproc-per-node=8 \
            --max-restarts=10 \              # ⭐ 自动重启
            --rdzv-backend=c10d \
            --rdzv-endpoint=$MASTER:29500 \
            train.py

# ⭐ 三个必设的 NCCL 环境变量
export TORCH_NCCL_BLOCKING_WAIT=1          # 超时报错而不是永久挂起
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1   # 异常时干净退出
export NCCL_TIMEOUT=1800                   # 30 分钟（默认可能太长）