AI基础设施 · 11
平时只存一片,为什么 AllGather 时仍可能 OOM?
分片描述静止时保存什么;执行时还可能聚合参数、预取后续单元并保存激活。显存峰值要把这些同时在场的内容算上。
读完能做到:手算三个 Stage 的静态状态,画出 FSDP 的通信生命周期,并用“分片 + 活跃单元 + 激活 + 工作区”估算峰值。
📑 本页目录(点开跳转)
11 · ZeRO 与 FSDP
⏱ 35 分钟 | ⭐ 训练大模型常见的状态分片技术
🎯 一句话
上一章的数据并行让每个 rank 都保存完整的参数、梯度和优化器状态。零冗余优化器(Zero Redundancy Optimizer,ZeRO)把这些模型状态按数据并行 rank 分片:平时每卡只留自己负责的部分,需要计算或同步时再通过集合通信临时补齐。
先把边界说清:ZeRO/FSDP 主要减少的是重复的模型状态,不是自动消除激活、临时工作区和通信缓冲。分片后的静态账很小,也不等于训练峰值就同样小。
🗑️ 一、被浪费的显存
先只算模型状态,暂时不算激活、临时张量、通信缓冲和显存分配器碎片。下面采用一个明确的教学假设:BF16 参数占 2 字节、BF16 梯度占 2 字节;AdamW 为每个参数保存 FP32 主参数、一阶矩和二阶矩,共 12 字节。不同优化器、精度策略和实现会改变这些字节数。
先把一张卡的 16 字节账算清
设参数数量 $P=7\times10^9$,采用十进制 GB($1\,\text{GB}=10^9$ 字节):
参数:$P\times2=14\,\text{GB}$
梯度:$P\times2=14\,\text{GB}$
AdamW 状态:$P\times12=84\,\text{GB}$
每卡静态模型状态:$14+14+84=112\,\text{GB}$
8 卡普通 DDP 共保存 $8\times112=896\,\text{GB}$。这些副本用于各 rank 的本地计算,但从“全局只需一份模型状态”的角度看,存在 $896-112=784\,\text{GB}$ 的重复存储。
🔑 ZeRO 的核心洞察:数据并行要求各 rank 得到等价的更新结果,却不要求每个 rank 永久保存全部更新状态。优化器状态可以只由负责该分片的 rank 更新,梯度和参数也能在需要时同步或临时聚合。
📊 二、三个 Stage
令 $N$ 表示数据并行 rank 数,$P$ 表示参数数量;$b_p=2$、$b_g=2$、$b_o=12$ 分别是本例每个参数对应的参数、梯度、优化器状态字节数。普通 DDP 的静态模型状态是:
$$M_{DDP}=P(b_p+b_g+b_o)=16P\ \text{字节}$$
Stage 1、2、3 依次分片优化器状态、梯度、参数,因此本例每 rank 的静态状态分别是:
$$M_1=P(b_p+b_g)+\frac{Pb_o}{N}=4P+\frac{12P}{N}$$
$$M_2=Pb_p+\frac{P(b_g+b_o)}{N}=2P+\frac{14P}{N}$$
$$M_3=\frac{P(b_p+b_g+b_o)}{N}=\frac{16P}{N}$$
这些式子只描述均匀分片后的静态模型状态。参数不能整除、对齐填充、激活、临时聚合、通信缓冲和工作区都会让实际峰值更高。
- 参数[完整] 梯度[完整] 优化器[完整] 112 GB/卡
- 参数[完整] 梯度[完整] 优化器[1/N]:$14+14+84/8=38.5$ GB/卡
- 参数[完整] 梯度[1/N] 优化器[1/N]:$14+(14+84)/8=26.25$ GB/卡
- 参数[1/N] 梯度[1/N] 优化器[1/N]:$(14+14+84)/8=14$ GB/卡
(8 卡,7B 模型)
把公式变成可运行的检查器:下面只计算静态模型状态,输入参数数量和数据并行 rank 数,输出十进制 GB。
def zero_static_gb(param_count: int, ranks: int) -> dict[str, float]:
if param_count <= 0 or ranks <= 0:
raise ValueError("param_count 和 ranks 必须为正整数")
p = float(param_count)
n = float(ranks)
bytes_per_gb = 1_000_000_000
return {
"ddp": 16 * p / bytes_per_gb,
"stage1": (4 * p + 12 * p / n) / bytes_per_gb,
"stage2": (2 * p + 14 * p / n) / bytes_per_gb,
"stage3": (16 * p / n) / bytes_per_gb,
}
print(zero_static_gb(7_000_000_000, 8))
# {'ddp': 112.0, 'stage1': 38.5, 'stage2': 26.25, 'stage3': 14.0}| Stage | 显存倍数 | 通信量 vs DDP | 什么时候用 |
|---|---|---|---|
| 1 | 16P / (4P+12P/N),N 很大时趋近 4 倍 | 理论字节量可与 DDP 同阶;调度和时延不同 | 优化器状态占比高,且通信/实现验证通过 |
| 2 | 16P / (2P+14P/N),N 很大时趋近 8 倍 | 论文消息量模型中可与 DDP 相当 | 参数能常驻,但梯度和优化器状态需要分片 |
| 3 | 静态模型状态约为 DDP 的 $1/N$ | 还需按单元 AllGather 参数;成本依调度而变 | 完整参数不能常驻,且能接受更多通信/调度复杂度 |
🔑 最反直觉也最重要的一点:在 ZeRO 论文的等字节消息量模型中,Stage 1/2 可以不比普通数据并行传更多总字节;但集合通信次数、消息大小、等待与重叠方式仍可能不同,所以“字节量相当”不等于“耗时免费”。
为什么?回忆第 5 章那个恒等式: AllReduce = ReduceScatter + AllGather
DDP: AllReduce(梯度) = RS + AG ZeRO-2: ReduceScatter(梯度) → 各自更新自己那份 → AllGather(参数) = RS + AG ⭐ 论文消息量模型中总字节相当ZeRO-2 的核心调度是把梯度的 AllReduce 拆成 ReduceScatter 和参数的 AllGather,并在中间由各 rank 更新自己的状态分片。这解释了为什么理论总字节量可以相当;真实时间还要实测启动延迟、带宽、分桶和重叠。
🔄 三、Stage 3 怎么工作(FSDP 的核心)
完全分片数据并行(Fully Sharded Data Parallel,FSDP)是 PyTorch 对参数、梯度和优化器状态分片的一套实现。把一组参数当作一个包裹单元(FSDP unit)后,FULL_SHARD 的一轮训练可以这样读:
一个包裹单元的生命周期
- 静态状态:每个 rank 保存该单元约 $1/N$ 的参数分片、梯度分片和优化器状态分片。
- 前向前:AllGather 参数分片,临时恢复该单元的完整参数。
- 前向:用完整参数计算;按 FULL_SHARD 的重分片策略,前向后释放完整参数。
- 反向前:再次 AllGather 该单元的完整参数。
- 反向:计算局部梯度;ReduceScatter 在 rank 间归约并留下各自负责的梯度分片。
- 更新:每个 rank 只用本地梯度分片更新本地优化器状态和参数分片。
不要把所有策略都画成同一条线:
SHARD_GRAD_OP会在前向前恢复参数,并把完整参数保留到反向结束后再重分片;它通常比FULL_SHARD多占显存、少一次反向前的参数 AllGather。策略名和具体行为应以目标 PyTorch 版本文档为准。
🧮 静态 14 GB,为什么峰值仍可能 28 GB
峰值不是 $M_3=16P/N$ 一项。一个便于排查的教学账本是:
$$M_{peak}\approx M_{shard}+kM_{unit}+M_{act}+M_{work}+M_{buffer}$$
- $M_{shard}$:本 rank 常驻的分片模型状态。
- $M_{unit}$:一个包裹单元恢复为完整参数后占的显存。
- $k$:同时保持完整参数的单元数;没有预取时常接近 1,当前单元与下一单元重叠时可能接近 2,实际由调度和限流决定。
- $M_{act}$:为反向保留的激活;$M_{work}$:算子临时工作区;$M_{buffer}$:通信、精度转换和分配器等额外占用。
完整代入一次(演示配置,不是硬件承诺)
沿用 8 卡 7B 的静态分片:$M_{shard}=14$ GB。
假设每个 Transformer 包裹单元完整参数为 $M_{unit}=0.4$ GB,预取让当前与下一单元同时在场,所以 $k=2$。
再假设激活 $M_{act}=10$ GB、工作区 $M_{work}=2$ GB、通信与其他缓冲 $M_{buffer}=1$ GB。
$M_{peak}\approx14+2\times0.4+10+2+1=27.8$ GB。
结论:14 GB 是静态模型状态,不是“14 GB 显卡就能训练”。改序列长度、micro batch、wrap 粒度或预取策略,峰值都会变。
💡 这就是为什么它叫 Fully Sharded Data Parallel:从“每卡一份完整模型”变成“静态时每卡一片,按包裹单元临时恢复”。它能把静态模型状态降到约 $1/N$,代价是参数恢复与梯度分片通信;通信字节、轮数和暴露时间随策略、wrap 粒度、拓扑与重叠而变,不能用一个固定倍数概括所有实现。
⭐ 预取:让通信藏起来
结果对照
PyTorch 的 limit_all_gathers 等限流机制会约束可提前发出的 AllGather,避免 CPU 线程把过多完整参数同时压进显存。前向预取主要面向执行顺序稳定的静态图;是否提升吞吐必须在目标版本和模型上测量。
# 🧩 配置骨架:不是可直接运行的完整程序;model/TransformerBlock 由项目定义
import torch
from torch.distributed.fsdp import FullyShardedDataParallel as FSDP
from torch.distributed.fsdp import ShardingStrategy, MixedPrecision
from torch.distributed.fsdp.wrap import transformer_auto_wrap_policy
import functools
model = FSDP(
model,
sharding_strategy=ShardingStrategy.SHARD_GRAD_OP, # 近似 ZeRO-2 的状态分片
# ShardingStrategy.FULL_SHARD # 近似 ZeRO-3
# ShardingStrategy.HYBRID_SHARD # 机内切、跨机复制 ⭐
auto_wrap_policy=functools.partial(
transformer_auto_wrap_policy,
transformer_layer_cls={TransformerBlock}, # ⭐ 按层包,非常重要
),
mixed_precision=MixedPrecision(
param_dtype=torch.bfloat16,
reduce_dtype=torch.bfloat16, # 相对 FP32 载荷可减半;先验证数值与后端支持
buffer_dtype=torch.bfloat16,
),
device_id=torch.cuda.current_device(),
)
⚠️ wrap 粒度决定“每次临时恢复多大一块”:只包根模型时,整个模型可能形成一个大参数组,通信无法与逐层计算重叠,参数恢复的峰值也可能过大;包得过细又会产生大量小集合通信和启动开销。Transformer block 是常见起点,不是所有模型的唯一答案。打印包装后的模型,并用峰值显存和 step time 共同调参。
💡 HYBRID_SHARD:在“切得更多”和“跨机少传”之间折中
以每机 8 卡为例
🧳 CPU Offload 与激活重计算:省的不是同一块
| 手段 | 主要搬走/减少什么 | 换来的代价 |
|---|---|---|
| ZeRO/FSDP 分片 | GPU 间重复的参数、梯度、优化器状态 | 集合通信与调度复杂度 |
| CPU offload | 把部分参数、梯度或优化器状态放到主存 | PCIe/互联传输、CPU 内存与 step 延迟;部分梯度累积方式受实现限制 |
| 激活检查点(activation checkpointing) | 少保存前向激活,反向时重算 | 额外前向计算;需与包裹单元和目标 API 正确组合 |
它们可以组合,但不是“全开就最好”。先用显存快照确认瓶颈属于模型状态还是激活,再比较峰值显存、吞吐和数值正确性。若激活才是大头,仅提高 ZeRO stage 可能收效有限。
⚖️ 四、ZeRO vs 张量并行:怎么选
⭐ 实用的排查顺序:
① 先测:模型状态、激活、临时工作区,究竟谁占峰值 ② 模型状态为主且参数能常驻 → 评估 ZeRO-1/2 ③ 完整参数不能常驻 → 评估 FULL_SHARD,并调 wrap 粒度与预取 ④ 跨节点慢 → 对比 FULL_SHARD 与 HYBRID_SHARD 的真实 step time ⑤ 单个恢复单元仍装不下 → 评估 TP、流水线或适用算子的顺序分块
⚠️ 五、五个坑
| 坑 | 症状 | 解法 |
|---|---|---|
| wrap 太粗或太细 | 峰值过大,或大量小通信拖慢训练 | 以 Transformer block 为起点,同时测峰值与 step time |
| 预取没配好 | FSDP 比 DDP 还慢 | backward_prefetch=BACKWARD_PRE |
| 保存 checkpoint 时 OOM | 保存的瞬间要凑齐全部参数 | 用 SHARDED_STATE_DICT 分片保存 ⭐ |
| 和梯度检查点叠加顺序错 | 报错或不生效 | 按目标 PyTorch API 的组合方式包装,并核对实际重算与峰值 |
| CPU offload 全开 | GPU 显存下降但 step 变慢,或梯度累积语义不符 | 检查版本限制、PCIe 流量和主存容量;用正确性测试与 profiler 验证 |
# 配置骨架:所有 rank 参与;model/opt 已构建,需匹配所用 PyTorch 版本
import torch.distributed.checkpoint as dcp
from torch.distributed.checkpoint.state_dict import get_state_dict
model_state, optim_state = get_state_dict(model, opt)
dcp.save({"model": model_state, "optim": optim_state},
checkpoint_id="ckpt/step1000")
# 恢复还需加载对应 state_dict 并 set_state_dict;不能只确认保存目录存在
💥 “保存 checkpoint 时 OOM”是常见翻车点:如果配置要求恢复完整状态,保存阶段可能临时聚合参数并抬高 CPU/GPU 峰值。大模型通常应采用分片状态保存,并实际执行一次保存和恢复;仅看到目录生成不代表可恢复。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 优化器状态 84GB | ZeRO 要切的就是它 ⭐ |
| 第 5 章 AllReduce=RS+AG | 解释 ZeRO-2 为何能在论文等字节模型下保持相当通信量;不代表耗时免费 |
| 第 10 章 DDP 一块显存都没省 | 本章是它的修正 |
| 第 5 章 跨机带宽是瓶颈 | HYBRID_SHARD 的动机 |
| 第 9 章 决策树 | ZeRO 在其中的位置 |
| 《机器学习与深度学习基础》09 优化器与学习率 Adam 的一阶/二阶动量 | Stage 1 切的就是这两份状态 —— 不知道 Adam 存了什么,就看不懂 ZeRO 省在哪 ⭐ |
| 《强化学习基础》12 RLHF 全流程 PPO 同时装四个模型 | 同时存在多个模型会增加模型状态与推理工作集;是否采用 Stage 3 / offload 要按各模型是否训练、精度和激活实测 |
| 《Kaggle竞赛方法论》05 预训练模型详解 LoRA / PEFT | 另一条路:LoRA 只训练少量适配参数,可显著减少可训练参数对应的梯度和优化器状态;具体比例由 rank、目标层和实现决定 |
✅ 检查点
- 本章 7B + BF16 梯度 + AdamW 的 16 字节/参数账由哪三部分组成?它没有包括什么?
- 写出 $M_1$、$M_2$、$M_3$,并手算 $P=7\times10^9$、$N=8$ 的结果。
- 为什么只能说 Stage 1/2 的理论通信字节量“可与 DDP 相当”,不能说耗时免费?
FULL_SHARD的一个包裹单元在前向、反向和更新时经历哪些通信?- 静态分片状态是 14 GB,为什么示例峰值仍是 27.8 GB?
- wrap 太粗和太细分别会造成什么问题?
- 预取为什么既可能提速,也可能抬高峰值?
SHARD_GRAD_OP与FULL_SHARD的参数重分片时机有什么关键差别?- HYBRID_SHARD 在机内和机间分别做什么?为什么它不是固定最优解?
- ZeRO/FSDP、CPU offload、激活检查点分别减少哪一类占用?
- ZeRO-3 和张量并行的关键边界是什么?
- 为什么 checkpoint 必须做一次真实恢复测试?
👀 答案
- 参数 2 字节、梯度 2 字节、FP32 主参数与 Adam 一/二阶矩共 12 字节,所以是 16 字节/参数。它不含激活、工作区、通信缓冲、分配器碎片等运行时占用。
- $M_1=4P+12P/N=38.5$ GB,$M_2=2P+14P/N=26.25$ GB,$M_3=16P/N=14$ GB。这里使用十进制 GB,并假设均匀分片。
- AllReduce 可分解为 ReduceScatter + AllGather,所以论文消息量模型下总字节可相当;但集合通信次数、消息大小、启动延迟、等待和重叠不同,真实 step time 仍可能变差。
- 前向前 AllGather 参数,按 FULL_SHARD 策略前向后重分片;反向前再次 AllGather,反向后 ReduceScatter 梯度;最后各 rank 只更新本地参数与优化器状态分片。
- 峰值还包括同时完整存在的包裹单元、激活、工作区和缓冲。示例为 $14+2\times0.4+10+2+1=27.8$ GB。
- 太粗会恢复过大的参数组且难以重叠通信;太细会产生大量小集合通信和启动开销。Transformer block 只是常见起点,需同时测峰值与 step time。
- 提前 AllGather 下一单元可能把通信藏在当前计算后面;同时也可能令两个完整单元并存。限流、执行顺序和显存压力共同决定结果。
FULL_SHARD前向后重分片、反向前再恢复;SHARD_GRAD_OP通常把完整参数保留到反向结束后再重分片,以更多显存换少一次恢复。- 机内分片组执行 AllGather/ReduceScatter,跨机复制组同步同一分片。它减少昂贵的跨机参数恢复,但静态分片度、跨机同步和吞吐取决于节点与网络,必须实测。
- ZeRO/FSDP 减少 GPU 间重复模型状态;CPU offload 把部分状态移到主存;激活检查点少存激活并在反向重算。三者代价分别偏向通信、主机传输和额外计算。
- ZeRO-3 按包裹单元恢复完整参数;如果单个恢复单元仍装不下,需评估 TP、流水线或适用算子的顺序分块。TP 在层内分摊工作集,但产生频繁层内通信。
- 保存目录存在只证明写出了一些文件;格式、分片、优化器状态或 world size 变化都可能让恢复失败。应在独立进程中加载并继续至少一步训练,核对参数、优化器和 step。
本节回顾
⚡ 走神救援
⭐ 先分清两张账:本例普通 DDP 的静态模型状态是 $16P$ 字节;Stage 1/2/3 依次分片优化器状态、梯度和参数,8 卡 7B 的静态值是 38.5、26.25、14 GB。
⭐ 静态值不是峰值。峰值还要加完整恢复的包裹单元、激活、工作区和缓冲;预取可能提速,也可能让两个单元同时在场。
⭐ “理论通信字节相当”不是“耗时免费”。消息大小、集合通信次数、启动延迟、拓扑、分桶与重叠都会改变 step time。
⭐ wrap 要两头防:太粗会恢复太大的参数组,太细会产生大量小通信。Transformer block 是起点,不是固定答案。
⭐ HYBRID_SHARD 是拓扑折中,不是多机默认最优。机内做完整分片,跨机同步同一分片的复制组;必须与 FULL_SHARD 在真实集群上比较。
⭐ 省不同显存要用不同工具:ZeRO/FSDP 管重复模型状态,activation checkpointing 管激活,CPU offload 用主存和传输换 GPU 空间。
💥 checkpoint 要按分片方式保存,并做真实恢复与续训测试;“文件写出来了”不等于可恢复。
下一节 👉 12-张量并行.md
条件与依据
本页 16 字节/参数采用 BF16 参数与梯度、FP32 主参数和 AdamW 两个 FP32 动量的教学假设;换优化器或精度策略要重算。FSDP 生命周期、wrap、限流、CPU offload 和状态字典行为具有版本差异,应以目标版本文档为准。消息量结论来自 ZeRO 的理论模型,不是耗时承诺;所有容量算例均未计分配器碎片和未列出的框架缓冲。
ZeRO 原论文;PyTorch FSDP 官方文档;PyTorch Distributed Checkpoint 官方教程