AI基础设施 · 09
这次 OOM 的峰值,究竟是哪一项在什么时候还活着?
参数、梯度、优化器状态、激活、临时工作区、推理 KV Cache 与其他运行时占用可能在不同阶段形成峰值。先做账本,再选择愿意支付的计算、通信或传输代价。
读完能做一张可复算的峰值账本,并只针对主要占用评估检查点、低精度、分片、Offload 或其他方法。
📑 本页目录(点开跳转)
09 · 显存优化全家桶
⏱ 35 分钟 | ⭐ OOM 时先做账本,再按峰值主因选手段
🎯 一句话
OOM 先做峰值账本,再决定优化哪一块 —— 训练时要区分参数、梯度、优化器状态、激活和临时张量;推理时还要单列随上下文与并发增长的 KV Cache。 每一块的增长条件、生命周期和解法都不同。 第 3 章教你算它们各占多少,这一章教你怎么把每一块压下去。
🩺 一、先诊断:你的 OOM 属于哪一类
import torch
torch.cuda.reset_peak_memory_stats()
train_step()
print(f"峰值 {torch.cuda.max_memory_allocated()/1e9:.1f} GB "
f"已保留 {torch.cuda.max_memory_reserved()/1e9:.1f} GB")
# ⭐ 更有用的:完整的显存快照,能看出每一块是谁占的
torch.cuda.memory._record_memory_history()
train_step()
torch.cuda.memory._dump_snapshot("mem.pickle")
# 拖到 https://pytorch.org/memory_viz 里看可视化
信息关系
⚠️
reserved−allocated 包括可复用缓存,不能直接等同碎片。 不能用固定 20% 差值诊断碎片,应结合快照、分配失败和 inactive split blocks,见文末。
先做一张峰值账本:别把“显存”当成同一种东西
为什么先算账?因为“省 4 GiB”只有在省掉峰值时仍然活着的张量时才有用。训练和推理的账本也不同:训练通常有梯度与优化器状态;自回归推理通常没有这两项,却会积累 KV Cache。
| 账本项 | 符号 | 什么时候出现 | 常见对应手段 |
|---|---|---|---|
| 参数 | M_param | 训练与推理 | 低精度存储、分片、量化、PEFT |
| 梯度 | M_grad | 训练反向传播 | 分片、PEFT、融合更新 |
| 优化器状态与可能的主权重 | M_opt | 训练更新 | 低精度优化器、ZeRO/FSDP、Offload |
| 激活 | M_act | 训练前向到反向;也受 batch/序列长度影响 | 检查点、低精度、缩短/打包序列 |
| 临时张量与算子工作区 | M_temp | 特定算子执行期间 | 注意力/算子实现、形状与算法选择 |
| KV Cache | M_KV | 自回归推理,随层数、KV 头数、上下文和并发增长 | 容量规划、KV 精度、分页与前缀复用;见第 16–17 章 |
| 分配器缓存及其他常驻开销 | M_other | 运行时与框架 | 快照、稳定形状、匹配后端的分配器设置 |
用于容量预算的保守近似是:
M_peak ≈ M_param + M_grad + M_opt + M_act + M_temp + M_KV + M_other
M_peak 是要容纳的峰值;右侧七项分别对应上表。这里用 ≈ 而不是等号,因为它们未必在同一时刻全部达到各自峰值,框架还可能复用缓冲区。这个式子用来防止漏项,最终仍要用同一输入、同一阶段的峰值统计和快照核对。
完整数字例:为什么 24 GiB 卡仍可能 OOM
上面的 6.00 / 2.00 / 1.50 GiB 是为了演示完整账本而设定的教学假设,不是在某张 GPU 上采集的性能证据。实际规划时要用自己的模型、输入形状和训练阶段采集峰值与内存快照,再替换这三项;不能把教学数字当作模型的固定占用。
结论不是“Adam 永远每参数 12 字节”,而是:本例的这套实现有三份 FP32 数组。若框架不保留 FP32 主权重、使用分片或量化状态,M_opt 会改变;反过来,主权重、状态、梯度的 dtype 与副本口径没写清,就不能把“字节/参数”直接相加。
🧰 二、七件武器(按账本选择,不要全部打开)
① 梯度检查点 —— 最常用
信息关系
# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
# 整个模型
from torch.utils.checkpoint import checkpoint_sequential
out = checkpoint_sequential(model.layers, segments=4, input=x)
# ⭐ HuggingFace 一行
model.gradient_checkpointing_enable()
# ⭐ 更精细:选择性检查点(PyTorch 2.x)
# 只重算便宜的(LayerNorm/激活函数),保留贵的(矩阵乘)
from torch.utils.checkpoint import create_selective_checkpoint_contexts
💡 选择性检查点值得一提:它尝试只重算“存储代价高、重算代价相对低”的操作,并保留重算昂贵的结果。 这不是固定的“5% 或 30%”承诺;要在同一 batch、序列长度和硬件上比较峰值显存、每步时间与数值结果。
② ZeRO / FSDP —— 切分优化器状态
信息关系
③ 激活值量化 / 更低精度
信息关系
④ 换优化器
| 优化器 | 主要额外状态口径 | 说明 |
|---|---|---|
| Adam(FP32 状态) | m+v 通常 8 B/参数;若另存 FP32 主权重再加 4 B |
必须与参数、梯度分开记账 |
| 8-bit Adam | 量化 m/v,另有分块统计与可能的高精度副本 |
⭐ 省的是状态;质量、速度和支持算子需实测 |
| Adafactor | 矩阵参数可分解二阶矩,向量参数口径不同 | 节省量取决于参数形状与实现 |
| SGD + momentum | 动量常为 4 B/参数(若 FP32) | 优化行为与 Adam 不同,不能只凭显存替换 |
| LOMO / 融合更新 | 尝试融合反向与更新,降低完整梯度常驻 | 仍有参数、状态、激活与工作区;依实现与支持范围 |
import bitsandbytes as bnb
opt = bnb.optim.AdamW8bit(model.parameters(), lr=3e-4) # ⭐ 一行换掉
⑤ CPU Offload
关键信息
⑥ 参数高效微调(PEFT)
结果对照
🔑 这是显存问题最容易被忽略的解法: 很多人在硬啃全量微调的显存,而任务本身用 LoRA 就够了。
⑦ 减小 batch + 梯度累积
先把“等效 batch”说完整。一个完整累积窗口中,如果每个进程、每个微步的样本数都相同:
B_global = B_micro × K × W
B_micro 是每个进程每个微步的样本数,K 是累积步数,W 是进程数(world_size)。例如 B_micro=2、K=4、W=3,完整窗口处理 2 × 4 × 3 = 24 个样本。最后不足 K 步的尾窗口不能丢掉;若各进程对应微步仍等长,它实际处理的是 W × Σ b_j 个样本,必须按这个窗口的真实样本数归一化。
一个窗口怎样走
最容易犯的两个错误是:每个微步都固定除以 K,导致尾窗口梯度偏小;或者只在整除 K 时更新,直接漏掉最后几个微步。下面的骨架用逐样本损失之和累积梯度,再按窗口真实样本数归一化。它假设 loader 有有限长度,并且 DDP 各进程在每个窗口得到相同的本地样本数;若不能保证,需要汇总全局样本数并做相应权重缩放,而不能照搬默认等权平均。
# 🧩 骨架:per_sample_loss(...) 必须返回每个样本各自的损失
from contextlib import nullcontext
accum_steps = 32
local_samples = 0
total_micro_steps = len(loader)
opt.zero_grad(set_to_none=True)
for i, batch in enumerate(loader):
batch_size = batch["input_ids"].shape[0]
is_boundary = (
(i + 1) % accum_steps == 0
or i + 1 == total_micro_steps # 尾窗口也必须更新
)
sync_context = (
nullcontext()
if is_boundary or not hasattr(model, "no_sync")
else model.no_sync()
)
with sync_context: # DDP 要把前向和反向都放在 no_sync 内
output = model(batch)
loss_sum = per_sample_loss(output, batch["labels"]).sum()
loss_sum.backward()
local_samples += batch_size
if is_boundary:
# DDP 默认在边界步平均各进程梯度;这里要求各进程 local_samples 相同
for parameter in model.parameters():
if parameter.grad is not None:
parameter.grad.div_(local_samples)
opt.step()
opt.zero_grad(set_to_none=True)
local_samples = 0
组合顺序:一次只改一项,重新画峰值
从可比较基线到组合方案
为什么要重画?这些手段会互相改变峰值:FlashAttention 可能移除注意力中间矩阵,检查点会增加重算,分片会新增聚合/通信缓冲,Offload 又会新增传输缓冲。旧账本不能直接代表组合后的新峰值。
⚠️ 失败边界:“不再 OOM”只证明容量暂时够,不证明吞吐、收敛或任务质量可接受。验收至少比较:峰值设备显存、主机内存、每步时间/TTFT、吞吐、损失或任务指标;推理还要固定上下文长度与并发。
🧭 三、决策树(照着走)
图下说明
- OOM 了
- batch=1 仍 OOM?不能仅凭这一点定因
- 是 → 先看状态、激活、工作区和分配器;确认状态占主要峰值时再比较下列方案
- ① 任务允许参数高效微调吗?→ 比较 LoRA / QLoRA 与全量微调目标
- ② 状态占主要峰值?→ 比较低精度状态、Adafactor 与分片
- ③ 上 ZeRO-2 → ZeRO-3(第 11 章)
- ④ 还不行 → 张量并行 / 流水线并行(第 12-13 章)
- ⑤ 容量仍不足且传输可接受?→ 评估 CPU/NVMe Offload,并测主机内存与吞吐
- 否 → 峰值与 batch 设置有关,仍需定位激活或工作区,再比较下列方案
- ① M_act 占主要峰值?→ 评估梯度检查点并测重算代价
- ② FlashAttention(第 8 章:减少注意力中间矩阵的额外保存与 HBM 搬运,主计算仍是 O(n²d))
- ③ 序列长度能不能减?能不能 packing?
- ④ 序列并行(超长序列时)
- ⑤ 减小 micro batch + 梯度累积
- 时好时坏 / 显存看似够但报 OOM? → 检查峰值、工作区及分配快照;碎片只是候选原因
🧩 四、显存碎片:那个"明明还有显存却 OOM"
对照
以下只是排查线索,不能单独证明碎片:
· 报错说"tried to allocate 2GB,free 8GB"但还是失败
· 训练跑了几小时后突然 OOM
· reserved 与 allocated 差距较大;缓存本就可能造成差距,没有统一 20% 诊断阈值
一种可能:空闲块分布不适合当前分配请求,
但需结合快照、统计和失败请求确认,并排查活跃张量、工作区及其他占用
# ⭐ 三个常用手段
import torch
import os
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
# ↑ 仅在目标 PyTorch/分配器支持且快照指向分配模式问题时尝试
torch.cuda.empty_cache() # 仅释放未使用缓存;别当作释放活跃张量
# 候选措施:让形状更规律,例如把变长序列分桶
# 是否有效要由快照、分配统计和峰值复测确认
⚠️
empty_cache() 可释放未使用缓存,但不会释放活跃张量;频繁调用可能增加重新分配或同步开销。若快照支持分配模式问题,可尝试让分配模式更规律 —— 固定形状、分桶、expandable_segments。
📋 五、一张速查表
| 手段 | 省哪块 | 容量变化与边界 | 代价 |
|---|---|---|---|
| 梯度检查点 | 激活 | 只省激活;理想顺序链可到约 O(√L) | 重算增加;按峰值与 step time 实测 |
| FlashAttention | 激活 | 避免额外保存 O(n²) 中间矩阵,常降到 O(nd) | 精确注意力计算仍是 O(n²d);受后端与形状限制 |
| ZeRO-3 / FSDP | 参数+梯度+优化器 | 被分片项理想接近 ÷N | 通信、聚合临时量与未分片峰值 |
| 8-bit Adam | 优化器 | 状态位宽与主权重分别核算 | 质量、速度与算子支持需评测 |
| LoRA | 梯度+优化器 | 只缩小可训练梯度/状态,比例取决于 rank 与目标层 | 只适用微调;能力与全量微调不等价 |
| BF16 | 实际采用 BF16 保存的参数/激活等 | FP32→BF16 的对应张量减半,不等于整个峰值减半 | 硬件/算子支持、数值范围与精度需验证 |
| CPU offload | 被卸载的参数/状态/激活 | 按实际卸载集合核算 | 主机内存与传输增加,是否变慢取决于重叠 |
| 减小 batch | 激活 | 常降低随 micro-batch 增长的激活;并非所有项线性 | 利用率与通信占比可能变差,需实测 |
⭐ 注意 FlashAttention 和混合精度这两行: 它们往往应在目标硬件与框架上优先评估,但不是免费开关。先确认支持的后端、实际 dtype、数值质量与峰值变化,再决定是否继续叠加检查点、分片或 Offload。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 容量、带宽与显存分项 | 本章把分项扩成训练/推理峰值账本,再为每项选择手段 ⭐ |
| 第 3 章 激活与工作区可能随 batch 变化 | 诊断树的第一个分叉 |
| 第 6 章 混合精度 | 只缩小实际采用低精度保存的张量;硬件、算子和数值质量另行验证 |
| 第 8 章 FlashAttention | 减少注意力中间矩阵的额外保存与 HBM 搬运;不改变精确注意力的 O(n²d) 主计算 |
| 第 11 章 ZeRO | 按 stage 分片状态、梯度或参数,并引入通信/聚合边界 |
| ML 基础第 10 章 | 有意思的对照:那里也是"按性价比排序的武器库" |
| 《Kaggle竞赛方法论》02 训练策略与正则化 显存优化综合策略 | 同一张武器表的竞赛版(单卡视角);本章补的是"为什么"和多卡那几件 ⭐ |
| 《Kaggle竞赛方法论》05 预训练模型详解 LoRA / Adapter / P-Tuning | 第 ⑥ 件武器 PEFT 的展开 —— 怎么选、rank 设多少在那边 |
✅ 检查点
- 减小 batch 能提供什么线索,为什么还需要快照与峰值统计?
allocated和reserved的差距说明什么?- 峰值账本的七项分别是什么?为什么总式只能写近似号?
- 梯度检查点省的是哪一项?为什么不能承诺固定的省显存与变慢百分比?
- 什么是选择性检查点?它好在哪?
- 为什么不能把 Adam、8-bit Adam 的“字节/参数”脱离状态口径直接比较?
- 为什么说 LoRA 是"最容易被忽略的解法"?
- 完整累积窗口的全局 batch 怎样计算?尾窗口与 DDP 同步边界怎样处理?
- 哪些现象提示需要检查分配器?如何核实并选择措施?
- FlashAttention 到底降低了什么,没有降低什么?为什么混合精度也不是免费开关?
- 为什么组合优化时要一次只改一项,并在每一步重画账本?
- CPU Offload 省了什么,又新增了哪些资源与验证项?
👀 答案
- 将 batch 调为 1 可观察峰值是否随它变化。仍 OOM 时,参数状态、长序列激活、工作区和分配器都需检查;不再 OOM 也不能唯一归因于激活。结合快照和峰值统计定位,再选优化方法。
- 同一时刻 reserved−allocated 包含未使用的可复用缓存,不能直接等同碎片,也没有统一 20% 诊断阈值。需结合内存快照、分配器统计、失败请求和所用 backend 判断。
M_param、M_grad、M_opt、M_act、M_temp、M_KV、M_other。它们的生命周期可能错开、缓冲可能复用,所以账本是防漏项的容量近似,最终要用峰值与快照核对。- 检查点只直接减少
M_act,用反向时重算换空间。理想顺序链、均匀分段可约从 O(L) 到 O(√L),但真实节省和耗时取决于图结构、保存边界、算子、形状与实现。 - 选择性检查点优先重算存储代价高、重算代价相对低的操作,保留重算昂贵的结果;仍需在同一输入上比较峰值显存、step time 与数值结果。
- 先写清比较口径:Adam 的 FP32
m/v常是 8 B/参数,若另存 FP32 主权重再加 4 B;8-bit Adam 量化的是状态,还可能有分块统计和高精度副本。节省、质量和速度必须按实现实测。 - 因为很多人在硬啃全量微调的显存,而任务本身可能只需要参数高效微调。LoRA 只为所选目标层的低秩增量保存可训练梯度与状态;比例由 rank、目标层和实现决定,能力也不等同于全量微调。
- 仅在各进程、各微步样本数相同且窗口完整时,
B_global = B_micro × K × W。不足K步的尾窗口也要更新,并按实际样本数而不是固定K归一化。DDP 的中间微步可将前向与反向放入no_sync(),但第K步和最后一个尾步必须退出它以触发同步;若各进程样本数不等,还要汇总全局计数并修正权重,默认等权平均并不等于全局逐样本平均。 - 分配失败、运行一段时间后 OOM 或缓存差值变大,都只是调查入口。先核对活跃张量/工作区峰值、其他占用与分配快照;若证据支持分配模式问题,再比较分桶、稳定形状和匹配 backend 的配置。empty_cache() 不释放活跃张量,频繁调用还可能增加开销。
- FlashAttention 通过分块避免额外保存 O(n²) 注意力中间矩阵,常把额外保存量降到 O(nd),但精确注意力的主要计算仍是 O(n²d)。混合精度只缩小真正采用低精度存储的张量,还需验证硬件/算子支持、缩放、溢出和任务质量。
- 因为一个手段会改变另一个手段面对的峰值与代价:检查点增加重算,分片新增聚合/通信缓冲,Offload 新增传输缓冲。一次只改一项,才能知道哪项带来容量、速度或质量变化;每步都要重新记录账本和指标。
- Offload 减少被移出设备的参数、状态或激活常驻量,却增加主机内存、传输缓冲与通信。要同时记录设备峰值、主机峰值、传输量、step time 和吞吐,确认传输是否被计算遮住。
本节回顾
⚡ 走神救援
⭐ OOM 不是一个单独问题:参数、梯度、优化器状态、激活、临时工作区、推理 KV Cache 与其他运行时占用,增长条件和解法不同。
⭐⭐ 减小 batch 是线索,不是分类证明。batch=1 仍 OOM,也要核对激活峰值、工作区和分配器,不能直接定因为参数或优化器。reserved 与 allocated 的差值还包含缓存,不等于碎片。
七件武器的共同规则:先看账本。⭐ 梯度检查点只省激活并增加重算;⭐ ZeRO/FSDP分片参数、梯度或状态但增加通信与临时聚合;⭐ 低精度优化器只缩小对应状态,需验证质量与支持;⭐⭐ LoRA在任务允许参数高效微调时,才会连带缩小可训练梯度与状态。
⚠️ CPU Offload用主机容量换设备容量,会增加主机内存和传输;减小 micro batch可能降低利用率并提高通信占比。两者都不是固定的“最后手段”,而是账本和实测约束下的选择。
⭐ 梯度累积别只记“除以步数”:完整等长窗口才有
B_global = B_micro × K × W;尾窗口按真实样本数归一化并照常更新。DDP 中间微步可用no_sync(),第K步或最后一个尾步必须同步。⭐ 决策树提供排查入口,先按快照确认主要占用。状态占峰值时比较 LoRA、低精度优化器或分片;激活/工作区占峰值时比较检查点、注意力实现、序列长度与 micro-batch,逐项复测。
看似还有空闲容量却分配失败,需要继续检查峰值与分配状态,不能凭现象或缓存差值确诊碎片。稳定形状、分桶或分配器选项应在证据支持时尝试;empty_cache() 不能释放活跃张量。
⭐ 最后一句是顺序问题:先评估目标硬件上可用的注意力内核与混合精度,但把它们当作需要验证的候选基线,而不是免费开关;之后再按峰值主因叠加检查点、分片或 Offload,每次只改一项并复测。
下一节 👉 10-数据并行与AllReduce.md
条件与依据
峰值账本是容量预算,不是假装所有分项同时到峰值。检查点、低精度、分片与 Offload 的节省/耗时取决于模型图、输入形状、硬件、互联和实现,不能当固定承诺。8-bit Adam 两份矩的存储不应与包含 FP32 主权重的 12 字节直接混算。batch=1 仍 OOM 也可能是激活、工作区或分配模式问题。梯度累积需处理不足整组的尾窗口,按实际样本数归一化;DDP 中间微步只有在前向和反向都位于 no_sync() 内时才跳过同步,窗口边界和尾窗口最后一步必须同步。
PyTorch CUDA 内存说明;PyTorch Activation Checkpointing;DeepSpeed ZeRO;本站第 8 章:FlashAttention 的 I/O 与复杂度边界