🏠 总目录📚 本教程 ZeRO 与 FSDP ← →

AI基础设施 · 11

平时只存一片,为什么 AllGather 时仍可能 OOM?

分片描述静止时保存什么;执行时还可能聚合参数、预取后续单元并保存激活。显存峰值要把这些同时在场的内容算上。

读完能做到:手算三个 Stage 的静态状态,画出 FSDP 的通信生命周期,并用“分片 + 活跃单元 + 激活 + 工作区”估算峰值。

📑 本页目录(点开跳转)

11 · ZeRO 与 FSDP

⏱ 35 分钟 | ⭐ 训练大模型常见的状态分片技术


🎯 一句话

上一章的数据并行让每个 rank 都保存完整的参数、梯度和优化器状态。零冗余优化器(Zero Redundancy Optimizer,ZeRO)把这些模型状态按数据并行 rank 分片:平时每卡只留自己负责的部分,需要计算或同步时再通过集合通信临时补齐。

先把边界说清:ZeRO/FSDP 主要减少的是重复的模型状态,不是自动消除激活、临时工作区和通信缓冲。分片后的静态账很小,也不等于训练峰值就同样小。


🗑️ 一、被浪费的显存

先只算模型状态,暂时不算激活、临时张量、通信缓冲和显存分配器碎片。下面采用一个明确的教学假设:BF16 参数占 2 字节、BF16 梯度占 2 字节;AdamW 为每个参数保存 FP32 主参数、一阶矩和二阶矩,共 12 字节。不同优化器、精度策略和实现会改变这些字节数。

先把一张卡的 16 字节账算清

设参数数量 $P=7\times10^9$,采用十进制 GB($1\,\text{GB}=10^9$ 字节):

参数:$P\times2=14\,\text{GB}$

梯度:$P\times2=14\,\text{GB}$

AdamW 状态:$P\times12=84\,\text{GB}$

每卡静态模型状态:$14+14+84=112\,\text{GB}$

8 卡普通 DDP 共保存 $8\times112=896\,\text{GB}$。这些副本用于各 rank 的本地计算,但从“全局只需一份模型状态”的角度看,存在 $896-112=784\,\text{GB}$ 的重复存储。

🔑 ZeRO 的核心洞察:数据并行要求各 rank 得到等价的更新结果,却不要求每个 rank 永久保存全部更新状态。优化器状态可以只由负责该分片的 rank 更新,梯度和参数也能在需要时同步或临时聚合。


📊 二、三个 Stage

令 $N$ 表示数据并行 rank 数,$P$ 表示参数数量;$b_p=2$、$b_g=2$、$b_o=12$ 分别是本例每个参数对应的参数、梯度、优化器状态字节数。普通 DDP 的静态模型状态是:

$$M_{DDP}=P(b_p+b_g+b_o)=16P\ \text{字节}$$

Stage 1、2、3 依次分片优化器状态、梯度、参数,因此本例每 rank 的静态状态分别是:

$$M_1=P(b_p+b_g)+\frac{Pb_o}{N}=4P+\frac{12P}{N}$$

$$M_2=Pb_p+\frac{P(b_g+b_o)}{N}=2P+\frac{14P}{N}$$

$$M_3=\frac{P(b_p+b_g+b_o)}{N}=\frac{16P}{N}$$

这些式子只描述均匀分片后的静态模型状态。参数不能整除、对齐填充、激活、临时聚合、通信缓冲和工作区都会让实际峰值更高。

Stage 0(普通 DDP)
  • 参数[完整] 梯度[完整] 优化器[完整] 112 GB/卡
Stage 1:切【优化器状态】
  • 参数[完整] 梯度[完整] 优化器[1/N]:$14+14+84/8=38.5$ GB/卡
Stage 2:+ 切【梯度】
  • 参数[完整] 梯度[1/N] 优化器[1/N]:$14+(14+84)/8=26.25$ GB/卡
Stage 3:+ 切【参数】⭐
  • 参数[1/N] 梯度[1/N] 优化器[1/N]:$(14+14+84)/8=14$ GB/卡

(8 卡,7B 模型)

把公式变成可运行的检查器:下面只计算静态模型状态,输入参数数量和数据并行 rank 数,输出十进制 GB。

def zero_static_gb(param_count: int, ranks: int) -> dict[str, float]:
    if param_count <= 0 or ranks <= 0:
        raise ValueError("param_count 和 ranks 必须为正整数")
    p = float(param_count)
    n = float(ranks)
    bytes_per_gb = 1_000_000_000
    return {
        "ddp": 16 * p / bytes_per_gb,
        "stage1": (4 * p + 12 * p / n) / bytes_per_gb,
        "stage2": (2 * p + 14 * p / n) / bytes_per_gb,
        "stage3": (16 * p / n) / bytes_per_gb,
    }

print(zero_static_gb(7_000_000_000, 8))
# {'ddp': 112.0, 'stage1': 38.5, 'stage2': 26.25, 'stage3': 14.0}
Stage 显存倍数 通信量 vs DDP 什么时候用
1 16P / (4P+12P/N),N 很大时趋近 4 倍 理论字节量可与 DDP 同阶;调度和时延不同 优化器状态占比高,且通信/实现验证通过
2 16P / (2P+14P/N),N 很大时趋近 8 倍 论文消息量模型中可与 DDP 相当 参数能常驻,但梯度和优化器状态需要分片
3 静态模型状态约为 DDP 的 $1/N$ 还需按单元 AllGather 参数;成本依调度而变 完整参数不能常驻,且能接受更多通信/调度复杂度

🔑 最反直觉也最重要的一点:在 ZeRO 论文的等字节消息量模型中,Stage 1/2 可以不比普通数据并行传更多总字节;但集合通信次数、消息大小、等待与重叠方式仍可能不同,所以“字节量相当”不等于“耗时免费”。

为什么?回忆第 5 章那个恒等式: AllReduce = ReduceScatter + AllGather

   DDP:     AllReduce(梯度)                    = RS + AG
   ZeRO-2:  ReduceScatter(梯度) → 各自更新自己那份
             → AllGather(参数)
             = RS + AG   ⭐ 论文消息量模型中总字节相当

ZeRO-2 的核心调度是把梯度的 AllReduce 拆成 ReduceScatter 和参数的 AllGather,并在中间由各 rank 更新自己的状态分片。这解释了为什么理论总字节量可以相当;真实时间还要实测启动延迟、带宽、分桶和重叠。


🔄 三、Stage 3 怎么工作(FSDP 的核心)

完全分片数据并行(Fully Sharded Data Parallel,FSDP)是 PyTorch 对参数、梯度和优化器状态分片的一套实现。把一组参数当作一个包裹单元(FSDP unit)后,FULL_SHARD 的一轮训练可以这样读:

一个包裹单元的生命周期

  1. 静态状态:每个 rank 保存该单元约 $1/N$ 的参数分片、梯度分片和优化器状态分片。
  2. 前向前:AllGather 参数分片,临时恢复该单元的完整参数。
  3. 前向:用完整参数计算;按 FULL_SHARD 的重分片策略,前向后释放完整参数。
  4. 反向前:再次 AllGather 该单元的完整参数。
  5. 反向:计算局部梯度;ReduceScatter 在 rank 间归约并留下各自负责的梯度分片。
  6. 更新:每个 rank 只用本地梯度分片更新本地优化器状态和参数分片。

不要把所有策略都画成同一条线:SHARD_GRAD_OP 会在前向前恢复参数,并把完整参数保留到反向结束后再重分片;它通常比 FULL_SHARD 多占显存、少一次反向前的参数 AllGather。策略名和具体行为应以目标 PyTorch 版本文档为准。

🧮 静态 14 GB,为什么峰值仍可能 28 GB

峰值不是 $M_3=16P/N$ 一项。一个便于排查的教学账本是:

$$M_{peak}\approx M_{shard}+kM_{unit}+M_{act}+M_{work}+M_{buffer}$$

完整代入一次(演示配置,不是硬件承诺)

沿用 8 卡 7B 的静态分片:$M_{shard}=14$ GB。

假设每个 Transformer 包裹单元完整参数为 $M_{unit}=0.4$ GB,预取让当前与下一单元同时在场,所以 $k=2$。

再假设激活 $M_{act}=10$ GB、工作区 $M_{work}=2$ GB、通信与其他缓冲 $M_{buffer}=1$ GB。

$M_{peak}\approx14+2\times0.4+10+2+1=27.8$ GB。

结论:14 GB 是静态模型状态,不是“14 GB 显卡就能训练”。改序列长度、micro batch、wrap 粒度或预取策略,峰值都会变。

💡 这就是为什么它叫 Fully Sharded Data Parallel:从“每卡一份完整模型”变成“静态时每卡一片,按包裹单元临时恢复”。它能把静态模型状态降到约 $1/N$,代价是参数恢复与梯度分片通信;通信字节、轮数和暴露时间随策略、wrap 粒度、拓扑与重叠而变,不能用一个固定倍数概括所有实现。

⭐ 预取:让通信藏起来

结果对照

朴素做法:算第 L 层时才去 AllGather 第 L 层→计算等待通信
✅ 预取(prefetch):
算第 L 层的同时,提前发出第 L+1 层的参数 AllGather
可能隐藏一部分通信等待→也可能让两个完整单元同时在场、抬高峰值

PyTorch 的 limit_all_gathers 等限流机制会约束可提前发出的 AllGather,避免 CPU 线程把过多完整参数同时压进显存。前向预取主要面向执行顺序稳定的静态图;是否提升吞吐必须在目标版本和模型上测量。

# 🧩 配置骨架:不是可直接运行的完整程序;model/TransformerBlock 由项目定义
import torch
from torch.distributed.fsdp import FullyShardedDataParallel as FSDP
from torch.distributed.fsdp import ShardingStrategy, MixedPrecision
from torch.distributed.fsdp.wrap import transformer_auto_wrap_policy
import functools

model = FSDP(
    model,
    sharding_strategy=ShardingStrategy.SHARD_GRAD_OP,   # 近似 ZeRO-2 的状态分片
    # ShardingStrategy.FULL_SHARD                       # 近似 ZeRO-3
    # ShardingStrategy.HYBRID_SHARD                     #   机内切、跨机复制 ⭐
    auto_wrap_policy=functools.partial(
        transformer_auto_wrap_policy,
        transformer_layer_cls={TransformerBlock},       # ⭐ 按层包,非常重要
    ),
    mixed_precision=MixedPrecision(
        param_dtype=torch.bfloat16,
        reduce_dtype=torch.bfloat16,      # 相对 FP32 载荷可减半;先验证数值与后端支持
        buffer_dtype=torch.bfloat16,
    ),
    device_id=torch.cuda.current_device(),
)

⚠️ wrap 粒度决定“每次临时恢复多大一块”:只包根模型时,整个模型可能形成一个大参数组,通信无法与逐层计算重叠,参数恢复的峰值也可能过大;包得过细又会产生大量小集合通信和启动开销。Transformer block 是常见起点,不是所有模型的唯一答案。打印包装后的模型,并用峰值显存和 step time 共同调参。

💡 HYBRID_SHARD:在“切得更多”和“跨机少传”之间折中

以每机 8 卡为例

机内 8 卡:组成分片组,执行参数 AllGather 与梯度 ReduceScatter
跨机:同一分片位置形成复制组,同步对应分片的梯度
结果:每卡静态模型状态约降到机内分片度的 $1/8$,而完整参数恢复留在机内
边界:它不是固定最优解;节点数、网卡、拓扑、模型大小和 batch 都会改变结果

🧳 CPU Offload 与激活重计算:省的不是同一块

手段主要搬走/减少什么换来的代价
ZeRO/FSDP 分片GPU 间重复的参数、梯度、优化器状态集合通信与调度复杂度
CPU offload把部分参数、梯度或优化器状态放到主存PCIe/互联传输、CPU 内存与 step 延迟;部分梯度累积方式受实现限制
激活检查点(activation checkpointing)少保存前向激活,反向时重算额外前向计算;需与包裹单元和目标 API 正确组合

它们可以组合,但不是“全开就最好”。先用显存快照确认瓶颈属于模型状态还是激活,再比较峰值显存、吞吐和数值正确性。若激活才是大头,仅提高 ZeRO stage 可能收效有限。


⚖️ 四、ZeRO vs 张量并行:怎么选

ZeRO-3 / FSDP 张量并行
改代码 通常不改层内数学,但要接入包装、状态保存和分布式启动 要让层内算子理解分片布局,通常由框架实现
通信频率 按包裹单元恢复参数并分片梯度;次数由策略和粒度决定 经典 Transformer 每层多次集合通信,具体取决于分解
能跨机吗 可以;FULL/HYBRID 要按拓扑实测 可跨机,需评估通信效率(第 5 章)
单层工作集装不下时 仅按原单元聚合仍可能超显存;适用线性层可评估 ZeRO-3 + TiledLinear 顺序分块 可评估层内分片;需核对每卡峰值与通信代价
适合 模型状态重复是主要瓶颈,且单个恢复单元装得下 单层工作集需要跨卡分摊,且高速互联足以支撑层内通信

⭐ 实用的排查顺序:

   ① 先测:模型状态、激活、临时工作区,究竟谁占峰值
   ② 模型状态为主且参数能常驻 → 评估 ZeRO-1/2
   ③ 完整参数不能常驻 → 评估 FULL_SHARD,并调 wrap 粒度与预取
   ④ 跨节点慢 → 对比 FULL_SHARD 与 HYBRID_SHARD 的真实 step time
   ⑤ 单个恢复单元仍装不下 → 评估 TP、流水线或适用算子的顺序分块

⚠️ 五、五个坑

坑 症状 解法
wrap 太粗或太细 峰值过大,或大量小通信拖慢训练 以 Transformer block 为起点,同时测峰值与 step time
预取没配好 FSDP 比 DDP 还慢 backward_prefetch=BACKWARD_PRE
保存 checkpoint 时 OOM 保存的瞬间要凑齐全部参数 用 SHARDED_STATE_DICT 分片保存 ⭐
和梯度检查点叠加顺序错 报错或不生效 按目标 PyTorch API 的组合方式包装,并核对实际重算与峰值
CPU offload 全开GPU 显存下降但 step 变慢,或梯度累积语义不符检查版本限制、PCIe 流量和主存容量;用正确性测试与 profiler 验证
# 配置骨架:所有 rank 参与;model/opt 已构建,需匹配所用 PyTorch 版本
import torch.distributed.checkpoint as dcp
from torch.distributed.checkpoint.state_dict import get_state_dict
model_state, optim_state = get_state_dict(model, opt)
dcp.save({"model": model_state, "optim": optim_state},
         checkpoint_id="ckpt/step1000")
# 恢复还需加载对应 state_dict 并 set_state_dict;不能只确认保存目录存在

💥 “保存 checkpoint 时 OOM”是常见翻车点:如果配置要求恢复完整状态,保存阶段可能临时聚合参数并抬高 CPU/GPU 峰值。大模型通常应采用分片状态保存,并实际执行一次保存和恢复;仅看到目录生成不代表可恢复。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 优化器状态 84GB ZeRO 要切的就是它 ⭐
第 5 章 AllReduce=RS+AG 解释 ZeRO-2 为何能在论文等字节模型下保持相当通信量;不代表耗时免费
第 10 章 DDP 一块显存都没省 本章是它的修正
第 5 章 跨机带宽是瓶颈 HYBRID_SHARD 的动机
第 9 章 决策树 ZeRO 在其中的位置
《机器学习与深度学习基础》09 优化器与学习率 Adam 的一阶/二阶动量 Stage 1 切的就是这两份状态 —— 不知道 Adam 存了什么,就看不懂 ZeRO 省在哪 ⭐
《强化学习基础》12 RLHF 全流程 PPO 同时装四个模型 同时存在多个模型会增加模型状态与推理工作集;是否采用 Stage 3 / offload 要按各模型是否训练、精度和激活实测
《Kaggle竞赛方法论》05 预训练模型详解 LoRA / PEFT 另一条路:LoRA 只训练少量适配参数,可显著减少可训练参数对应的梯度和优化器状态;具体比例由 rank、目标层和实现决定

✅ 检查点

  1. 本章 7B + BF16 梯度 + AdamW 的 16 字节/参数账由哪三部分组成?它没有包括什么?
  2. 写出 $M_1$、$M_2$、$M_3$,并手算 $P=7\times10^9$、$N=8$ 的结果。
  3. 为什么只能说 Stage 1/2 的理论通信字节量“可与 DDP 相当”,不能说耗时免费?
  4. FULL_SHARD 的一个包裹单元在前向、反向和更新时经历哪些通信?
  5. 静态分片状态是 14 GB,为什么示例峰值仍是 27.8 GB?
  6. wrap 太粗和太细分别会造成什么问题?
  7. 预取为什么既可能提速,也可能抬高峰值?
  8. SHARD_GRAD_OP 与 FULL_SHARD 的参数重分片时机有什么关键差别?
  9. HYBRID_SHARD 在机内和机间分别做什么?为什么它不是固定最优解?
  10. ZeRO/FSDP、CPU offload、激活检查点分别减少哪一类占用?
  11. ZeRO-3 和张量并行的关键边界是什么?
  12. 为什么 checkpoint 必须做一次真实恢复测试?
👀 答案
  1. 参数 2 字节、梯度 2 字节、FP32 主参数与 Adam 一/二阶矩共 12 字节,所以是 16 字节/参数。它不含激活、工作区、通信缓冲、分配器碎片等运行时占用。
  2. $M_1=4P+12P/N=38.5$ GB,$M_2=2P+14P/N=26.25$ GB,$M_3=16P/N=14$ GB。这里使用十进制 GB,并假设均匀分片。
  3. AllReduce 可分解为 ReduceScatter + AllGather,所以论文消息量模型下总字节可相当;但集合通信次数、消息大小、启动延迟、等待和重叠不同,真实 step time 仍可能变差。
  4. 前向前 AllGather 参数,按 FULL_SHARD 策略前向后重分片;反向前再次 AllGather,反向后 ReduceScatter 梯度;最后各 rank 只更新本地参数与优化器状态分片。
  5. 峰值还包括同时完整存在的包裹单元、激活、工作区和缓冲。示例为 $14+2\times0.4+10+2+1=27.8$ GB。
  6. 太粗会恢复过大的参数组且难以重叠通信;太细会产生大量小集合通信和启动开销。Transformer block 只是常见起点,需同时测峰值与 step time。
  7. 提前 AllGather 下一单元可能把通信藏在当前计算后面;同时也可能令两个完整单元并存。限流、执行顺序和显存压力共同决定结果。
  8. FULL_SHARD 前向后重分片、反向前再恢复;SHARD_GRAD_OP 通常把完整参数保留到反向结束后再重分片,以更多显存换少一次恢复。
  9. 机内分片组执行 AllGather/ReduceScatter,跨机复制组同步同一分片。它减少昂贵的跨机参数恢复,但静态分片度、跨机同步和吞吐取决于节点与网络,必须实测。
  10. ZeRO/FSDP 减少 GPU 间重复模型状态;CPU offload 把部分状态移到主存;激活检查点少存激活并在反向重算。三者代价分别偏向通信、主机传输和额外计算。
  11. ZeRO-3 按包裹单元恢复完整参数;如果单个恢复单元仍装不下,需评估 TP、流水线或适用算子的顺序分块。TP 在层内分摊工作集,但产生频繁层内通信。
  12. 保存目录存在只证明写出了一些文件;格式、分片、优化器状态或 world size 变化都可能让恢复失败。应在独立进程中加载并继续至少一步训练,核对参数、优化器和 step。

本节回顾

⚡ 走神救援

⭐ 先分清两张账:本例普通 DDP 的静态模型状态是 $16P$ 字节;Stage 1/2/3 依次分片优化器状态、梯度和参数,8 卡 7B 的静态值是 38.5、26.25、14 GB。

⭐ 静态值不是峰值。峰值还要加完整恢复的包裹单元、激活、工作区和缓冲;预取可能提速,也可能让两个单元同时在场。

⭐ “理论通信字节相当”不是“耗时免费”。消息大小、集合通信次数、启动延迟、拓扑、分桶与重叠都会改变 step time。

⭐ wrap 要两头防:太粗会恢复太大的参数组,太细会产生大量小通信。Transformer block 是起点,不是固定答案。

⭐ HYBRID_SHARD 是拓扑折中,不是多机默认最优。机内做完整分片,跨机同步同一分片的复制组;必须与 FULL_SHARD 在真实集群上比较。

⭐ 省不同显存要用不同工具:ZeRO/FSDP 管重复模型状态,activation checkpointing 管激活,CPU offload 用主存和传输换 GPU 空间。

💥 checkpoint 要按分片方式保存,并做真实恢复与续训测试;“文件写出来了”不等于可恢复。

下一节 👉 12-张量并行.md

条件与依据

本页 16 字节/参数采用 BF16 参数与梯度、FP32 主参数和 AdamW 两个 FP32 动量的教学假设;换优化器或精度策略要重算。FSDP 生命周期、wrap、限流、CPU offload 和状态字典行为具有版本差异,应以目标版本文档为准。消息量结论来自 ZeRO 的理论模型,不是耗时承诺;所有容量算例均未计分配器碎片和未列出的框架缓冲。

ZeRO 原论文;PyTorch FSDP 官方文档;PyTorch Distributed Checkpoint 官方教程

打卡记录保存在你的浏览器里,首页能看到总进度