10 · 数据并行与 AllReduce

⏱ 26 分钟 ｜ ⭐ 最简单也最常用的并行

🎯 一句话

每张卡放一份完整的模型，各自吃不同的数据，算完梯度后求个平均。 它是唯一一种不改变模型结构的并行方式 —— 所以永远先试它。

🔄 一、它怎么工作

🔑 为什么求平均而不是求和： 因为等效 batch 变成了 N 倍，要保持梯度的尺度不变。 求和的话相当于学习率被放大了 N 倍。

# PyTorch DDP：标准写法
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP

dist.init_process_group("nccl")
model = DDP(model.to(local_rank), device_ids=[local_rank])

sampler = torch.utils.data.distributed.DistributedSampler(dataset)
loader = DataLoader(dataset, sampler=sampler, batch_size=micro_bs)

for epoch in range(E):
    sampler.set_epoch(epoch)      # ⭐ 必须！否则每轮的数据划分完全相同
    for batch in loader:
        loss = model(batch)
        loss.backward()           # ⭐ AllReduce 在这里自动发生
        opt.step(); opt.zero_grad(set_to_none=True)

⚠️ sampler.set_epoch(epoch) 是最常被漏掉的一行： 不加的话每个 epoch 的数据顺序和划分完全一样，等于没有 shuffle。

⚙️ 二、DDP 的两个关键优化

① 梯度桶（bucketing）+ 通信计算重叠

💡 这就是为什么 DDP 比手写 AllReduce 快很多。 桶大小可调：DDP(model, bucket_cap_mb=25) —— 太小则通信次数多、开销大；太大则重叠机会少。

② 梯度累积时要关掉同步

# 🧩 骨架：`loader` 来自你自己的代码，这一段只看写法
# ❌ 每个 micro batch 都 AllReduce → 通信量翻 N 倍
for i, batch in enumerate(loader):
    loss = model(batch) / accum
    loss.backward()

# ✅ 只在最后一步同步
for i, batch in enumerate(loader):
    is_last = (i + 1) % accum == 0
    ctx = nullcontext() if is_last else model.no_sync()    # ⭐
    with ctx:
        (model(batch) / accum).backward()
    if is_last:
        opt.step(); opt.zero_grad(set_to_none=True)

⚠️ 忘了 no_sync() 是一个隐蔽的性能杀手： 累积 8 步就意味着通信量是必要值的 8 倍，而代码看起来完全正常。

🔁 三、Ring AllReduce（第 5 章的展开）

⭐ 分层 AllReduce：大规模的标准做法

💡 NCCL 会自动根据拓扑选择算法 —— 这也是为什么 第 5 章说要先确认拓扑被正确识别（NCCL_DEBUG=INFO）。

📉 四、扩展效率：为什么卡越多效率越低

🔑 这就是为什么大规模训练必须做三件事： ① 梯度压缩/量化（FP16 甚至 FP8 通信） ② 分层 AllReduce ③ 换策略 —— 数据并行到了瓶颈就该上 ZeRO 或模型并行

⚠️ 五、五个真实的坑

💥 "AllReduce 挂死"是最难排查的一个： 症状是训练突然卡住不动、没有报错、GPU 利用率 100%（在空转等待）。 根因常常是某张卡的数据比别人少一个 batch，提前退出了循环， 其他卡在等一个永远不会来的 AllReduce。

✅ 排查：export TORCH_NCCL_BLOCKING_WAIT=1 会让它超时报错而不是永久挂起。

🔗 和站内其他章的关系

✅ 检查点

1. 数据并行怎么工作？为什么梯度要求平均而不是求和？
2. sampler.set_epoch() 不加会怎样？
3. DDP 的梯度桶做了什么？为什么反向传播的顺序让它成为可能？
4. 梯度累积时忘了 no_sync() 会怎样？
5. Ring AllReduce 每卡的通信量是多少？它的软肋是什么？
6. 分层 AllReduce 为什么能降到 1/8？
7. 为什么卡越多扩展效率越低？
8. 数据并行省显存吗？
9. "训练突然卡死、无报错、GPU 100%"最可能是什么原因？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 11-ZeRO与FSDP.md ⭐