🏠 总目录📚 本教程 显存优化 ← →

AI基础设施 · 09

这次 OOM 的峰值,究竟是哪一项在什么时候还活着?

参数、梯度、优化器状态、激活、临时工作区、推理 KV Cache 与其他运行时占用可能在不同阶段形成峰值。先做账本,再选择愿意支付的计算、通信或传输代价。

读完能做一张可复算的峰值账本,并只针对主要占用评估检查点、低精度、分片、Offload 或其他方法。

📑 本页目录(点开跳转)

09 · 显存优化全家桶

⏱ 35 分钟 | ⭐ OOM 时先做账本,再按峰值主因选手段


🎯 一句话

OOM 先做峰值账本,再决定优化哪一块 —— 训练时要区分参数、梯度、优化器状态、激活和临时张量;推理时还要单列随上下文与并发增长的 KV Cache。 每一块的增长条件、生命周期和解法都不同。 第 3 章教你算它们各占多少,这一章教你怎么把每一块压下去。

不用检查点全部激活都存着L1L2L3L4L5L6L7L8用检查点只存这几个L1L2L3L4L5L6L7L8重算重算重算重算重算反向传播需要前向的激活值 —— 存不下就重新算一遍少存激活反向需要额外重算什么时候用显存不够 / 想把 batch 开大时⭐ 这是显存优化里最直白的一个权衡:拿时间买空间,没有免费的部分
只存边界激活,其余部分在反向传播时从最近边界重算。它只直接减少激活常驻量,并增加重算;节省和耗时取决于模型图、分段、输入形状与实现,必须以同一输入实测。

🩺 一、先诊断:你的 OOM 属于哪一类

import torch
torch.cuda.reset_peak_memory_stats()
train_step()
print(f"峰值 {torch.cuda.max_memory_allocated()/1e9:.1f} GB  "
      f"已保留 {torch.cuda.max_memory_reserved()/1e9:.1f} GB")

# ⭐ 更有用的:完整的显存快照,能看出每一块是谁占的
torch.cuda.memory._record_memory_history()
train_step()
torch.cuda.memory._dump_snapshot("mem.pickle")
# 拖到 https://pytorch.org/memory_viz 里看可视化

信息关系

减小 batch 是排查线索,不是分类证明。
batch=1 仍 OOM:核对参数/梯度/优化器状态、激活峰值、工作区与分配器。
不再 OOM:说明峰值与 batch 设置有关,继续定位激活、工作区或分配模式。
先看显存快照和峰值统计,再选择检查点、分片、量化或卸载,并复测代价。

⚠️ reserved−allocated 包括可复用缓存,不能直接等同碎片。 不能用固定 20% 差值诊断碎片,应结合快照、分配失败和 inactive split blocks,见文末。

先做一张峰值账本:别把“显存”当成同一种东西

为什么先算账?因为“省 4 GiB”只有在省掉峰值时仍然活着的张量时才有用。训练和推理的账本也不同:训练通常有梯度与优化器状态;自回归推理通常没有这两项,却会积累 KV Cache。

账本项符号什么时候出现常见对应手段
参数M_param训练与推理低精度存储、分片、量化、PEFT
梯度M_grad训练反向传播分片、PEFT、融合更新
优化器状态与可能的主权重M_opt训练更新低精度优化器、ZeRO/FSDP、Offload
激活M_act训练前向到反向;也受 batch/序列长度影响检查点、低精度、缩短/打包序列
临时张量与算子工作区M_temp特定算子执行期间注意力/算子实现、形状与算法选择
KV CacheM_KV自回归推理,随层数、KV 头数、上下文和并发增长容量规划、KV 精度、分页与前缀复用;见第 16–17 章
分配器缓存及其他常驻开销M_other运行时与框架快照、稳定形状、匹配后端的分配器设置

用于容量预算的保守近似是:

M_peak ≈ M_param + M_grad + M_opt + M_act + M_temp + M_KV + M_other

M_peak 是要容纳的峰值;右侧七项分别对应上表。这里用 ≈ 而不是等号,因为它们未必在同一时刻全部达到各自峰值,框架还可能复用缓冲区。这个式子用来防止漏项,最终仍要用同一输入、同一阶段的峰值统计和快照核对。

完整数字例:为什么 24 GiB 卡仍可能 OOM

教学假设(不是本机实测):10 亿参数,BF16 参数与梯度;Adam 保留 FP32 主权重、m、v;训练时没有 KV Cache
参数:10⁹ × 2 B ÷ 2³⁰ = 1.86 GiB
梯度:10⁹ × 2 B ÷ 2³⁰ = 1.86 GiB
主权重 + m + v:10⁹ × (4+4+4) B ÷ 2³⁰ = 11.18 GiB
假设同一候选峰值快照中:激活 6.00 GiB;临时工作区 2.00 GiB;其他常驻/缓存 1.50 GiB
教学预算合计:1.86 + 1.86 + 11.18 + 6.00 + 2.00 + 0 + 1.50 = 24.40 GiB

上面的 6.00 / 2.00 / 1.50 GiB 是为了演示完整账本而设定的教学假设,不是在某张 GPU 上采集的性能证据。实际规划时要用自己的模型、输入形状和训练阶段采集峰值与内存快照,再替换这三项;不能把教学数字当作模型的固定占用。

结论不是“Adam 永远每参数 12 字节”,而是:本例的这套实现有三份 FP32 数组。若框架不保留 FP32 主权重、使用分片或量化状态,M_opt 会改变;反过来,主权重、状态、梯度的 dtype 与副本口径没写清,就不能把“字节/参数”直接相加。


🧰 二、七件武器(按账本选择,不要全部打开)

① 梯度检查点 —— 最常用

信息关系

正常:前向保存反向需要的激活
检查点:只保留边界,反向时重算区间内激活
⭐ 省的是 M_act,不会直接减少参数、梯度或优化器状态
理想顺序链、均匀分段时可从 O(L) 降到约 O(√L)
⚠️ 真实收益取决于保存边界、算子、形状和实现,必须实测峰值与 step time
# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
# 整个模型
from torch.utils.checkpoint import checkpoint_sequential
out = checkpoint_sequential(model.layers, segments=4, input=x)

# ⭐ HuggingFace 一行
model.gradient_checkpointing_enable()

# ⭐ 更精细:选择性检查点(PyTorch 2.x)
#    只重算便宜的(LayerNorm/激活函数),保留贵的(矩阵乘)
from torch.utils.checkpoint import create_selective_checkpoint_contexts

💡 选择性检查点值得一提:它尝试只重算“存储代价高、重算代价相对低”的操作,并保留重算昂贵的结果。 这不是固定的“5% 或 30%”承诺;要在同一 batch、序列长度和硬件上比较峰值显存、每步时间与数值结果。

② ZeRO / FSDP —— 切分优化器状态

信息关系

先用账本确认状态、梯度或参数是否真是峰值主因
Stage 1:分片优化器状态
Stage 2:再分片梯度
Stage 3 / FSDP:再分片参数,并在需要时聚合
⚠️ 理想分片项可接近 ÷N;峰值还包含未分片项、通信缓冲与临时聚合
🔗 第 11 章详讲

③ 激活值量化 / 更低精度

信息关系

更低位宽只会缩小实际采用该 dtype 保存的张量
例:同样 10⁹ 个激活元素,BF16 约 1.86 GiB,FP8 约 0.93 GiB
⚠️ 不会自动减半整个 M_peak;主权重、状态、工作区可能仍是高精度
⚠️ 硬件、框架、算子与 scaling/溢出处理需按目标版本验证(第 6 章)

④ 换优化器

优化器 主要额外状态口径 说明
Adam(FP32 状态) m+v 通常 8 B/参数;若另存 FP32 主权重再加 4 B 必须与参数、梯度分开记账
8-bit Adam 量化 m/v,另有分块统计与可能的高精度副本 ⭐ 省的是状态;质量、速度和支持算子需实测
Adafactor 矩阵参数可分解二阶矩,向量参数口径不同 节省量取决于参数形状与实现
SGD + momentum 动量常为 4 B/参数(若 FP32) 优化行为与 Adam 不同,不能只凭显存替换
LOMO / 融合更新 尝试融合反向与更新,降低完整梯度常驻 仍有参数、状态、激活与工作区;依实现与支持范围
import bitsandbytes as bnb
opt = bnb.optim.AdamW8bit(model.parameters(), lr=3e-4)   # ⭐ 一行换掉

⑤ CPU Offload

关键信息

把状态、参数或激活移到 CPU/NVMe,需要时再搬回设备
省的是被卸载项的设备常驻显存;会新增主机内存占用和传输缓冲
⚠️ 代价取决于 PCIe/NVLink、NUMA、分块、预取与计算重叠,不能用固定“慢 40 倍”代替测量
只有传输能被计算遮住或容量比延迟更重要时,才可能划算
验证:同时记录峰值显存、主机内存、step time、传输量与吞吐

⑥ 参数高效微调(PEFT)

结果对照

⭐ 如果你只是【微调】而不是预训练,这是最省的路:
LoRA:冻结原权重,只训练低秩增量 A·B
可训练参数量由 rank 与目标层决定
只为可训练增量保存梯度与状态
QLoRA:base 模型用 4-bit 量化 + LoRA
容量是否足够取决于量化口径、序列、batch、优化器与实现

🔑 这是显存问题最容易被忽略的解法: 很多人在硬啃全量微调的显存,而任务本身用 LoRA 就够了。

⑦ 减小 batch + 梯度累积

先把“等效 batch”说完整。一个完整累积窗口中,如果每个进程、每个微步的样本数都相同:

B_global = B_micro × K × W

B_micro 是每个进程每个微步的样本数,K 是累积步数,W 是进程数(world_size)。例如 B_micro=2、K=4、W=3,完整窗口处理 2 × 4 × 3 = 24 个样本。最后不足 K 步的尾窗口不能丢掉;若各进程对应微步仍等长,它实际处理的是 W × Σ b_j 个样本,必须按这个窗口的真实样本数归一化。

一个窗口怎样走

每个微步计算逐样本损失之和,并累计真实样本数
DDP 中间微步:前向与反向都放进 no_sync()→暂不做梯度通信
第 K 步或最后一个尾步→退出 no_sync,让该步触发同步
按本窗口真实样本数归一化→optimizer.step()
⚠️ 各进程样本数不相等时,默认 DDP 等权平均不等于全局逐样本平均

最容易犯的两个错误是:每个微步都固定除以 K,导致尾窗口梯度偏小;或者只在整除 K 时更新,直接漏掉最后几个微步。下面的骨架用逐样本损失之和累积梯度,再按窗口真实样本数归一化。它假设 loader 有有限长度,并且 DDP 各进程在每个窗口得到相同的本地样本数;若不能保证,需要汇总全局样本数并做相应权重缩放,而不能照搬默认等权平均。

# 🧩 骨架:per_sample_loss(...) 必须返回每个样本各自的损失
from contextlib import nullcontext

accum_steps = 32
local_samples = 0
total_micro_steps = len(loader)
opt.zero_grad(set_to_none=True)

for i, batch in enumerate(loader):
    batch_size = batch["input_ids"].shape[0]
    is_boundary = (
        (i + 1) % accum_steps == 0
        or i + 1 == total_micro_steps  # 尾窗口也必须更新
    )
    sync_context = (
        nullcontext()
        if is_boundary or not hasattr(model, "no_sync")
        else model.no_sync()
    )

    with sync_context:  # DDP 要把前向和反向都放在 no_sync 内
        output = model(batch)
        loss_sum = per_sample_loss(output, batch["labels"]).sum()
        loss_sum.backward()

    local_samples += batch_size
    if is_boundary:
        # DDP 默认在边界步平均各进程梯度;这里要求各进程 local_samples 相同
        for parameter in model.parameters():
            if parameter.grad is not None:
                parameter.grad.div_(local_samples)
        opt.step()
        opt.zero_grad(set_to_none=True)
        local_samples = 0

组合顺序:一次只改一项,重新画峰值

从可比较基线到组合方案

① 固定模型、输入形状、micro-batch、随机种子与测量阶段,记录峰值、step time、吞吐和任务指标
② 单独评估目标硬件支持的注意力内核与混合精度;先确认真的启用,再查数值质量
③ 重画账本:M_act 主导才加检查点/序列策略;M_opt/M_grad/M_param 主导才比较 PEFT、低精度状态或分片
④ 容量仍不足时再评估 Offload,同时测主机内存与传输是否压住计算
⑤ 每加一项都复测;不要一次打开四个开关后只看“终于不 OOM”

为什么要重画?这些手段会互相改变峰值:FlashAttention 可能移除注意力中间矩阵,检查点会增加重算,分片会新增聚合/通信缓冲,Offload 又会新增传输缓冲。旧账本不能直接代表组合后的新峰值。

⚠️ 失败边界:“不再 OOM”只证明容量暂时够,不证明吞吐、收敛或任务质量可接受。验收至少比较:峰值设备显存、主机内存、每步时间/TTFT、吞吐、损失或任务指标;推理还要固定上下文长度与并发。


🧭 三、决策树(照着走)

从上往下读问题;满足条件走右边,不满足再往下。右侧是选择入口,具体限制与原有说明保留在图下。按问题逐步判断batch = 1 仍然 OOM?核对状态、激活与工作区是否时好时坏,容量看似够?检查碎片与分配是否结合快照核对激活、状态与分配
从上往下读问题;满足条件走右边,不满足再往下。右侧是选择入口,具体限制与原有说明保留在图下。

图下说明


🧩 四、显存碎片:那个"明明还有显存却 OOM"

对照

以下只是排查线索,不能单独证明碎片:

· 报错说"tried to allocate 2GB,free 8GB"但还是失败

· 训练跑了几小时后突然 OOM

· reserved 与 allocated 差距较大;缓存本就可能造成差距,没有统一 20% 诊断阈值

一种可能:空闲块分布不适合当前分配请求,

但需结合快照、统计和失败请求确认,并排查活跃张量、工作区及其他占用

# ⭐ 三个常用手段
import torch
import os
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
# ↑ 仅在目标 PyTorch/分配器支持且快照指向分配模式问题时尝试

torch.cuda.empty_cache()          # 仅释放未使用缓存;别当作释放活跃张量

# 候选措施:让形状更规律,例如把变长序列分桶
# 是否有效要由快照、分配统计和峰值复测确认

⚠️ empty_cache() 可释放未使用缓存,但不会释放活跃张量;频繁调用可能增加重新分配或同步开销。 若快照支持分配模式问题,可尝试让分配模式更规律 —— 固定形状、分桶、expandable_segments。


📋 五、一张速查表

手段 省哪块 容量变化与边界 代价
梯度检查点 激活 只省激活;理想顺序链可到约 O(√L) 重算增加;按峰值与 step time 实测
FlashAttention 激活 避免额外保存 O(n²) 中间矩阵,常降到 O(nd) 精确注意力计算仍是 O(n²d);受后端与形状限制
ZeRO-3 / FSDP 参数+梯度+优化器 被分片项理想接近 ÷N 通信、聚合临时量与未分片峰值
8-bit Adam 优化器 状态位宽与主权重分别核算 质量、速度与算子支持需评测
LoRA 梯度+优化器 只缩小可训练梯度/状态,比例取决于 rank 与目标层 只适用微调;能力与全量微调不等价
BF16 实际采用 BF16 保存的参数/激活等 FP32→BF16 的对应张量减半,不等于整个峰值减半 硬件/算子支持、数值范围与精度需验证
CPU offload 被卸载的参数/状态/激活 按实际卸载集合核算 主机内存与传输增加,是否变慢取决于重叠
减小 batch 激活 常降低随 micro-batch 增长的激活;并非所有项线性 利用率与通信占比可能变差,需实测

⭐ 注意 FlashAttention 和混合精度这两行: 它们往往应在目标硬件与框架上优先评估,但不是免费开关。先确认支持的后端、实际 dtype、数值质量与峰值变化,再决定是否继续叠加检查点、分片或 Offload。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 容量、带宽与显存分项 本章把分项扩成训练/推理峰值账本,再为每项选择手段 ⭐
第 3 章 激活与工作区可能随 batch 变化 诊断树的第一个分叉
第 6 章 混合精度 只缩小实际采用低精度保存的张量;硬件、算子和数值质量另行验证
第 8 章 FlashAttention 减少注意力中间矩阵的额外保存与 HBM 搬运;不改变精确注意力的 O(n²d) 主计算
第 11 章 ZeRO 按 stage 分片状态、梯度或参数,并引入通信/聚合边界
ML 基础第 10 章 有意思的对照:那里也是"按性价比排序的武器库"
《Kaggle竞赛方法论》02 训练策略与正则化 显存优化综合策略 同一张武器表的竞赛版(单卡视角);本章补的是"为什么"和多卡那几件 ⭐
《Kaggle竞赛方法论》05 预训练模型详解 LoRA / Adapter / P-Tuning 第 ⑥ 件武器 PEFT 的展开 —— 怎么选、rank 设多少在那边

✅ 检查点

  1. 减小 batch 能提供什么线索,为什么还需要快照与峰值统计?
  2. allocated 和 reserved 的差距说明什么?
  3. 峰值账本的七项分别是什么?为什么总式只能写近似号?
  4. 梯度检查点省的是哪一项?为什么不能承诺固定的省显存与变慢百分比?
  5. 什么是选择性检查点?它好在哪?
  6. 为什么不能把 Adam、8-bit Adam 的“字节/参数”脱离状态口径直接比较?
  7. 为什么说 LoRA 是"最容易被忽略的解法"?
  8. 完整累积窗口的全局 batch 怎样计算?尾窗口与 DDP 同步边界怎样处理?
  9. 哪些现象提示需要检查分配器?如何核实并选择措施?
  10. FlashAttention 到底降低了什么,没有降低什么?为什么混合精度也不是免费开关?
  11. 为什么组合优化时要一次只改一项,并在每一步重画账本?
  12. CPU Offload 省了什么,又新增了哪些资源与验证项?
👀 答案
  1. 将 batch 调为 1 可观察峰值是否随它变化。仍 OOM 时,参数状态、长序列激活、工作区和分配器都需检查;不再 OOM 也不能唯一归因于激活。结合快照和峰值统计定位,再选优化方法。
  2. 同一时刻 reserved−allocated 包含未使用的可复用缓存,不能直接等同碎片,也没有统一 20% 诊断阈值。需结合内存快照、分配器统计、失败请求和所用 backend 判断。
  3. M_param、M_grad、M_opt、M_act、M_temp、M_KV、M_other。它们的生命周期可能错开、缓冲可能复用,所以账本是防漏项的容量近似,最终要用峰值与快照核对。
  4. 检查点只直接减少 M_act,用反向时重算换空间。理想顺序链、均匀分段可约从 O(L) 到 O(√L),但真实节省和耗时取决于图结构、保存边界、算子、形状与实现。
  5. 选择性检查点优先重算存储代价高、重算代价相对低的操作,保留重算昂贵的结果;仍需在同一输入上比较峰值显存、step time 与数值结果。
  6. 先写清比较口径:Adam 的 FP32 m/v 常是 8 B/参数,若另存 FP32 主权重再加 4 B;8-bit Adam 量化的是状态,还可能有分块统计和高精度副本。节省、质量和速度必须按实现实测。
  7. 因为很多人在硬啃全量微调的显存,而任务本身可能只需要参数高效微调。LoRA 只为所选目标层的低秩增量保存可训练梯度与状态;比例由 rank、目标层和实现决定,能力也不等同于全量微调。
  8. 仅在各进程、各微步样本数相同且窗口完整时,B_global = B_micro × K × W。不足 K 步的尾窗口也要更新,并按实际样本数而不是固定 K 归一化。DDP 的中间微步可将前向与反向放入 no_sync(),但第 K 步和最后一个尾步必须退出它以触发同步;若各进程样本数不等,还要汇总全局计数并修正权重,默认等权平均并不等于全局逐样本平均。
  9. 分配失败、运行一段时间后 OOM 或缓存差值变大,都只是调查入口。先核对活跃张量/工作区峰值、其他占用与分配快照;若证据支持分配模式问题,再比较分桶、稳定形状和匹配 backend 的配置。empty_cache() 不释放活跃张量,频繁调用还可能增加开销。
  10. FlashAttention 通过分块避免额外保存 O(n²) 注意力中间矩阵,常把额外保存量降到 O(nd),但精确注意力的主要计算仍是 O(n²d)。混合精度只缩小真正采用低精度存储的张量,还需验证硬件/算子支持、缩放、溢出和任务质量。
  11. 因为一个手段会改变另一个手段面对的峰值与代价:检查点增加重算,分片新增聚合/通信缓冲,Offload 新增传输缓冲。一次只改一项,才能知道哪项带来容量、速度或质量变化;每步都要重新记录账本和指标。
  12. Offload 减少被移出设备的参数、状态或激活常驻量,却增加主机内存、传输缓冲与通信。要同时记录设备峰值、主机峰值、传输量、step time 和吞吐,确认传输是否被计算遮住。

本节回顾

⚡ 走神救援

⭐ OOM 不是一个单独问题:参数、梯度、优化器状态、激活、临时工作区、推理 KV Cache 与其他运行时占用,增长条件和解法不同。

⭐⭐ 减小 batch 是线索,不是分类证明。batch=1 仍 OOM,也要核对激活峰值、工作区和分配器,不能直接定因为参数或优化器。reserved 与 allocated 的差值还包含缓存,不等于碎片。

七件武器的共同规则:先看账本。⭐ 梯度检查点只省激活并增加重算;⭐ ZeRO/FSDP分片参数、梯度或状态但增加通信与临时聚合;⭐ 低精度优化器只缩小对应状态,需验证质量与支持;⭐⭐ LoRA在任务允许参数高效微调时,才会连带缩小可训练梯度与状态。

⚠️ CPU Offload用主机容量换设备容量,会增加主机内存和传输;减小 micro batch可能降低利用率并提高通信占比。两者都不是固定的“最后手段”,而是账本和实测约束下的选择。

⭐ 梯度累积别只记“除以步数”:完整等长窗口才有 B_global = B_micro × K × W;尾窗口按真实样本数归一化并照常更新。DDP 中间微步可用 no_sync(),第 K 步或最后一个尾步必须同步。

⭐ 决策树提供排查入口,先按快照确认主要占用。状态占峰值时比较 LoRA、低精度优化器或分片;激活/工作区占峰值时比较检查点、注意力实现、序列长度与 micro-batch,逐项复测。

看似还有空闲容量却分配失败,需要继续检查峰值与分配状态,不能凭现象或缓存差值确诊碎片。稳定形状、分桶或分配器选项应在证据支持时尝试;empty_cache() 不能释放活跃张量。

⭐ 最后一句是顺序问题:先评估目标硬件上可用的注意力内核与混合精度,但把它们当作需要验证的候选基线,而不是免费开关;之后再按峰值主因叠加检查点、分片或 Offload,每次只改一项并复测。

下一节 👉 10-数据并行与AllReduce.md

条件与依据

峰值账本是容量预算,不是假装所有分项同时到峰值。检查点、低精度、分片与 Offload 的节省/耗时取决于模型图、输入形状、硬件、互联和实现,不能当固定承诺。8-bit Adam 两份矩的存储不应与包含 FP32 主权重的 12 字节直接混算。batch=1 仍 OOM 也可能是激活、工作区或分配模式问题。梯度累积需处理不足整组的尾窗口,按实际样本数归一化;DDP 中间微步只有在前向和反向都位于 no_sync() 内时才跳过同步,窗口边界和尾窗口最后一步必须同步。

PyTorch CUDA 内存说明;PyTorch Activation Checkpointing;DeepSpeed ZeRO;本站第 8 章:FlashAttention 的 I/O 与复杂度边界

打卡记录保存在你的浏览器里,首页能看到总进度