AI基础设施 · 21
多久存一次 checkpoint,才不把恢复成本换成写盘瓶颈?
保存太少会增加丢失的工作,保存太多会占用资源。先列出恢复要还原的状态,再看故障与写盘的成本。
读完能判断:把故障损失、保存开销、静默错误与恢复步骤分开核算。
📑 本页目录(点开跳转)
21 · 训练稳定性与故障恢复
⏱ 26 分钟 | ⭐ 千卡训练时,硬件故障是常态不是意外
🎯 一句话
大规模训练必须同时回答两个问题:故障后能不能继续,以及继续的是否还是原来那条训练轨迹。 只加载模型权重通常只能让程序重新启动,不能证明优化器、学习率、随机数和数据位置已经接上。 而比崩溃更难发现的,是程序仍在运行、结果却已经悄悄偏离的静默错误。
📉 一、先接受一个数字
先做一个教学估算。设单卡平均无故障时间为 $M_{card}$,同时使用的卡数为 $N$。只有在各卡故障近似独立、故障率近似稳定时,才可以把故障率相加:
$$\lambda_{cluster}=\frac{N}{M_{card}},\qquad M_{cluster}=\frac{1}{\lambda_{cluster}}=\frac{M_{card}}{N}$$
- $\lambda_{cluster}$:集群每小时的平均故障次数;
- $M_{cluster}$:集群两次故障之间的平均时间;
- 两种 MTBF 必须使用同一时间单位。这里还假设任意一张卡故障都会成为作业的有效故障,没有副本、冗余或故障屏蔽把它吸收掉。
- 相关掉电、交换机故障和批次性硬件缺陷会破坏“独立”假设;有冗余屏蔽时也不能直接套用这个除法。
完整代入
先分清目标
可启动:权重能加载,程序能继续执行
可恢复训练:模型、优化器、调度器、精度状态、随机数和数据位置一致,恢复后通过校验
常见故障类型:
| 故障 | 可见信号 | 恢复前要确认 |
|---|---|---|
| GPU 掉卡 / ECC 错误 | 进程退出、设备错误或 ECC 计数变化 | 故障节点是否隔离;快照是否在故障前完整发布 |
| 网络抖动 / NCCL 超时 | collective 长时间无进展、超时或通信错误 | 各 rank 的 collective 次序、节点状态和网络证据;不能只看 GPU 利用率 |
| 节点 OOM / 被抢占 | OOM、调度器回收或实例终止通知 | 新成员数是否改变;数据分片和随机种子是否需要重新定义 |
| 磁盘满 / 慢 | 写入失败、延迟上升或校验失败 | 不能把半成品目录登记为“最新”;先验证所有分片和 manifest |
| ⭐ 静默数据损坏 | 可能只有 checksum、数据抽样或训练指标异常 | 原始数据、预处理产物和快照是否有可核对的版本与校验值 |
💾 二、Checkpoint 策略
保存太密,训练时间被写盘占用;保存太疏,一次故障会丢掉更多已经计算的进度。在“故障近似独立、发生率稳定、保存耗时远小于 MTBF、故障在间隔内近似均匀、失败后回到最近一次完整快照,且暂不计恢复和诊断耗时”的一阶模型下,可以先写出单位有效训练时间的额外浪费比例:
$$W(T)\approx\frac{C}{T}+\frac{T}{2M}$$
- $T$:两次成功 checkpoint 之间的候选间隔;
- $C$:一次 checkpoint 对训练造成的有效保存开销;
- $M$:当前训练作业的平均故障间隔;三者必须使用同一时间单位;
- $C/T$:每隔 $T$ 时间保存一次带来的写盘浪费;$T/(2M)$:故障率约为 $1/M$,每次故障平均重算约 $T/2$,两者相乘得到回滚重算浪费。
先解释这里的“导数”:把 checkpoint 间隔 $T$ 想成一个可以缓慢转动的旋钮。$W'(T)$ 表示“$T$ 稍微增大一点时,总浪费 $W$ 变化得多快”,也就是曲线在当前位置的斜率。$W'(T)<0$ 表示继续增大 $T$ 会让浪费下降;$W'(T)>0$ 表示继续增大 $T$ 会让浪费上升。
如果最小值位于允许范围 $T>0$ 的内部,而不是人为规定的边界上,那么曲线必须从“向下走”转为“向上走”。这个转折位置的斜率应为 0,所以先寻找满足 $W'(T)=0$ 的驻点候选。注意:斜率为 0 只说明它是候选点,还不能单独证明它不是最大值。
逐项求导,不跳步
最后确认它确实是最小值。再求一次导数可得 $W''(T)=2C/T^3$。在 $C>0$、$M>0$、$T>0$ 的模型范围内,$W''(T)>0$,表示曲线在驻点附近向上弯,因此这个驻点是最小值而不是最大值。直觉上的“保存越频繁写盘越贵、保存越稀疏回滚越多”帮助记忆,但不能代替上面的推导。
所以:
$$T\approx\sqrt{2CM}$$
这是 Young 一阶近似的推导起点,不是对相关故障、长时间保存或带冗余集群的通用最优解。权威出处:John W. Young, A First Order Approximation to the Optimum Checkpoint Interval, Communications of the ACM, 1974。
完整代入
教学输入:$C=5$ 分钟,$M=10$ 小时 $=600$ 分钟
$T=\sqrt{2\times5\times600}=\sqrt{6000}\approx77.46$ 分钟
保存开销占比约为 $C/T=5/77.46\approx6.5\%$
若故障在区间内近似均匀发生,单次故障平均丢失约 $T/2\approx38.73$ 分钟进度
所以可先试 75–80 分钟,再用真实保存耗时、故障记录和吞吐复测;不是机械地“每小时一次”
四个必须做对的点:
| 要点 | 说明 |
|---|---|
| 异步保存 ⭐ | 先得到一致的 staging 快照,再后台写盘。它可能减少前台暂停,但会增加主机内存和并发 I/O;不能承诺固定提速 |
| 分片保存 ⭐ | 每个 rank 存自己那片(第 11 章),别汇总到 rank 0 |
| 原子写入 | 所有分片写入临时版本并校验完成后,最后发布 manifest 或“current”指针。单文件同文件系统 rename 常可原子替换;对象存储和跨文件系统需要各自的提交协议 |
| 保留多份 | 保留多个已验证可恢复的代次,并把保留数写成策略;“3 份”可以是起点,不是通用安全下限 |
# 配置骨架:所有 rank 参与;这里只展示状态收集和等待,不是完整发布协议
import torch.distributed.checkpoint as dcp
import torch.distributed as dist
from torch.distributed.checkpoint.state_dict import get_state_dict
model_state, optim_state = get_state_dict(model, opt)
local_resume = {"rank": dist.get_rank(),
"rng": get_rng_state(),
"data_cursor": data_cursor}
all_resume = [None] * dist.get_world_size()
dist.all_gather_object(all_resume, local_resume)
resume_state_by_rank = {item["rank"]: item for item in all_resume}
state = {"model": model_state, "optim": optim_state,
"scheduler": scheduler.state_dict(),
"scaler": scaler.state_dict(),
"optimizer_update": optimizer_update,
"world_size": dist.get_world_size(),
"resume_state_by_rank": resume_state_by_rank}
fut = dcp.async_save(state, checkpoint_id=f"ckpt/step-{step}")
# staging 仍可能阻塞;下一次保存或退出前等待上次完成
fut.result()
# 生产系统还要校验所有分片,再原子发布 manifest/current 指针
# load 完成后:world size 必须先匹配,再取回当前 rank 的本地状态
if state["world_size"] != dist.get_world_size():
raise RuntimeError("world size changed; cannot mechanically map rank state")
mine = state["resume_state_by_rank"][dist.get_rank()]
set_rng_state(mine["rng"])
data_cursor = restore_data_cursor(mine["data_cursor"])
上面用 {rank: state} 明确表达“每个 rank 各有一份 RNG 和数据游标”;恢复时先核对保存的 world_size,再让当前 rank 取回自己的条目并调用对应的 RNG/数据游标恢复函数。示例中的 all_gather_object 只适合解释小型元数据;生产系统应按框架能力把张量化状态放进分片 checkpoint。world size 改变后,旧 rank 与新 rank 没有天然一一对应关系,shuffle、数据分片和随机流都可能改变,不能机械按 rank 号映射并声称同轨迹恢复。
⭐ checkpoint 里必须存什么
一条可恢复训练链
安全边界:尽量在一次 optimizer update 完成、没有未提交累计梯度时保存。若必须保存 micro-step 中间态,还要保存已累计梯度、当前 micro-step 和对应数据游标;否则“恢复”会少算或重复一部分梯度。固定种子也不保证跨硬件、驱动和非确定性算子逐位一致。
🧮 一次完整恢复到底接上什么
教学设定:每个 rank 每个 micro-step 的样本数 $B_{micro}=4$,world size $N=8$,梯度累积步数 $K=8$。在每个 rank 的批次等长、没有尾批、world size 不变、每组 $K$ 次累积都真正完成一次 optimizer update,并且没有 AMP overflow 导致跳步时,每次成功更新消耗的全局样本数为:
$$B_{global}=B_{micro}\times N\times K=4\times8\times8=256$$
在上述限定下,第 300 次成功完成的参数更新后保存,累计消费 $300\times256=76800$ 个全局样本。训练在第 307 次成功更新后崩溃,回到第 300 次快照会重算 $7\times256=1792$ 个样本。若存在尾批、动态 batch、world size 变化、梯度溢出跳步或按 token 组批,就不能用 update 数机械反推消费量,必须持久化实际已消费的样本数/token 数以及每 rank 数据游标。要让这 7 次更新按原顺序重放,还必须同时恢复:
| 状态 | 只恢复权重会怎样 | 正确核对 |
|---|---|---|
| 优化器与 update=300 | Adam 动量丢失,下一步参数变化不同 | 核对状态张量、步数与参数组 |
| scheduler 与 scaler | 学习率或跳步判断错位 | 恢复后第一步记录真实 lr、scale 与是否更新 |
| 数据游标与 sampler | 样本重复、跳过或顺序改变 | 核对下一批样本 ID 与数据版本 |
| 每 rank RNG | dropout、增强或采样分支改变 | 在允许确定性的范围内比较恢复前后探针 |
恢复验收至少包括:manifest 完整、checksum 通过、状态字段齐全、下一批样本 ID 正确、第一轮 lr/scale/update 计数正确,以及短窗口 loss/梯度没有不合理跳变。“load_state_dict 没报错”不等于恢复验收通过。
🔍 三、最可怕的:不崩溃的错误
对照
⚠️ 崩溃是【好】故障——它会告诉你出事了
真正危险的是【静默失败】:训练照跑,loss 也在降,但结果是错的
四种典型的静默失败:
| 类型 | 表现 | 怎么发现 |
|---|---|---|
| rank 进度或 collective 次序分叉 | 可能等待、超时,也可能在错误位置继续记录指标 | 核对每个 rank 的 epoch、micro-step、optimizer update 与 collective 序列 |
| 数据管线错位 | 学到的东西不对 | 记录样本 ID、标签摘要、预处理版本和 batch checksum,定期抽样回放 ⭐ |
| 恢复后数据重复 | 过拟合特定样本 | checkpoint 保存数据游标、sampler 状态,并核对恢复后的下一批样本 ID |
| ECC 未纠正的位翻转 | 极偶发的数值异常 | 监控 ECC 计数器,nvidia-smi -q -d ECC |
# 可直接运行的离线探针:先比较“进度是否一致”,不自动宣布根因
def probe_rank_records(records):
keys = ("epoch", "micro_step", "optimizer_update", "collective_seq")
mismatched = {
key: sorted({record[key] for record in records})
for key in keys
if len({record[key] for record in records}) != 1
}
return {"needs_investigation": bool(mismatched), "mismatched": mismatched}
records = [
{"rank": 0, "epoch": 2, "micro_step": 2408,
"optimizer_update": 301, "collective_seq": 781},
{"rank": 1, "epoch": 2, "micro_step": 2408,
"optimizer_update": 301, "collective_seq": 780},
]
print(probe_rank_records(records))
# {'needs_investigation': True, 'mismatched': {'collective_seq': [780, 781]}}
🔑 探针只能缩小范围,不能从一个数字直接宣布根因。 纯 DDP 中,如果各 rank 在同一次同步完成后对相同的完整梯度计算范数,结果应在约定容差内一致;不一致说明测量时点、执行进度、数值状态或通信路径至少有一项需要排查,不能只凭它断言“网络坏了”。FSDP、张量并行等分片模式下,本地范数本来就可能不同。
🩹 四、训练不稳定:loss 尖峰
关键信息
- 大模型训练常见现象:loss 突然飙升,然后可能恢复、也可能再也回不来
- ⭐ 常见原因:
- 学习率过大 / warmup 太短
- 某个 batch 有异常数据(超长、乱码、重复)⭐
- FP16 溢出是候选原因;先核对非有限值、scaler 与算子范围(第 6 章)
- 梯度裁剪阈值不合适
- 数值不稳定(attention logits 过大、LayerNorm 位置)
🔎 先定位,再试稳定化手段
先冻结突升前后的证据:记录 global step、实际完成的 optimizer update 次数、rank、样本 ID/数据版本、预处理与代码配置版本,以及原始 loss、有效 token/样本数和聚合方式。核对是同一训练目标的突升,还是日志从均值变求和、mask/分母改变,或训练/验证模式切换。保存可重放的 batch 与突升前可恢复快照;不能把已污染状态当健康基线。
| 顺序与观测 | 下一步检查 | 能支持什么,不能证明什么 |
|---|---|---|
| ① 固定 batch,先查输入 | 核对样本/标签对齐、范围、NaN/Inf、长度分布、padding 与 loss mask、预处理版本。用相同突升前状态比较触发 batch 和正常 batch;保留数据加载位置与随机数状态。 | 相同状态下触发 batch 才异常,支持数据或数据与模型的交互假设;长度大、重复样本或换顺序后恢复都不能单独证明坏数据。 |
| ② 对齐真实学习率与优化器状态 | 读每个 optimizer.param_groups 的实际 lr,对照 warmup/调度预期;查 optimizer 动量/步数、scheduler 状态是否恢复,是否重复更新、漏更新、把 micro-step 当 update。按所用 scheduler 核对 step/epoch/指标驱动语义及调用顺序。 | 配置中的初始 lr 不能代替运行时各组 lr;恢复点的跳变支持状态/调度问题,降 lr 暂时稳定仍不是根因证明。 |
| ③ 定位首个非有限值 | 在小范围诊断中检查输入→激活→loss→梯度的有限性、裁剪前范数,以及 FP16 AMP 的 scale、跳过更新次数。累积结束后,按官方 AMP 流程先 unscale_ 再检查/裁剪;同一 optimizer 的本次更新只 unscale 一次。 | 非有限梯度可导致 GradScaler 跳过更新,但高 loss 不一定溢出;BF16 的范围更大,也不能修复坏标签、错误公式或保证稳定。FSDP/TP 分片范数需按相应语义解释。 |
| ④ 对齐实现与模式变更 | 从版本差异查 train()/eval()、no_grad/detach、清零与累积、loss 缩放、参数是否冻结,以及新算子/精度配置。比较实际参数增量与更新计数;从同一状态只改一个因素,观察能否触发及消除异常。 | 固定种子有助于比较,不保证跨版本/设备逐位相同;若不能重现,保留未解释项和追加监测,不能宣称原因已闭合。 |
症状入口见 ML 基础 11 · loss 调试;调度与更新语义见 ML 基础 09 · Scheduler。这里强调事件定位顺序,先复现,再逐项改变条件。
五个实用的稳定化手段:
# 教学诊断示意:只标记观测,不执行训练、跳步或改学习率
import math
import statistics
def gradient_flag(current_norm, previous_norms, ratio=10.0):
# 输入应为同一测量口径、已 unscale 且裁剪前的范数
# previous_norms 不含当前值;100 和 10 都只是示意窗口/阈值
if not math.isfinite(ratio) or ratio <= 1:
raise ValueError("ratio must be finite and > 1")
if not math.isfinite(current_norm) or current_norm < 0:
return "inspect_nonfinite_or_invalid"
history = list(previous_norms)[-100:]
if not history or any(not math.isfinite(x) or x < 0 for x in history):
return "inspect_reference"
baseline = statistics.median(history)
if baseline == 0:
return "inspect_zero_reference"
return "inspect_outlier" if current_norm > ratio * baseline else "no_flag"
print(gradient_flag(30.0, [1.0, 2.0, 3.0])) # inspect_outlier
# no_flag 也不证明训练健康;标记后仍需上表的 batch/lr/数值/实现取证
💡 恢复能继续运行,不等于根因已修复。先按本页 checkpoint 清单验证恢复状态;若主动跳过数据或改变顺序,记录差异、有效样本量和更新/调度计数。丢弃累计梯度或 AMP 跳过更新时,scaler 与 scheduler 应按所用训练器的实际更新语义协调,不能照搬“zero_grad 后继续走一步”。给重试设上限,反复失败就停下来取证。
回归边界:从同一健康状态分别重放触发 batch 与正常对照,比较 loss 口径、有限性、实际 lr、梯度/参数增量及实际更新次数;每次只改一个因素。随后在固定、独立的验证数据与约定观察窗口检查质量、再次尖峰和吞吐代价。只有“现象可触发、干预后消失、对照与恢复状态符合预期”的证据,才支持该次定位;未重现或只暂时降 loss,应保留为待查/缓解,不能宣布真实训练已稳定。
依据:PyTorch AMP 检查与裁剪、调度调用语义、恢复训练状态、可复现性边界。上面的排序是组织诊断的建议,不是任何单条日志都能确定根因的定理。
🔁 五、弹性训练与快速恢复
恢复不是“无限重启”
# 配置示例:允许 worker group 最多重启 10 次;它不会替你保存或验证训练状态
torchrun --nnodes=8 --nproc-per-node=8 \
--max-restarts=10 \
--rdzv-backend=c10d \
--rdzv-endpoint="$MASTER:29500" \
train.py
--max-restarts=10 是重试预算,不是“必然恢复 10 次”的承诺。确定性坏数据、错误代码或损坏快照会反复在同一点失败;达到预算后必须停止、保留证据并交给人处理。成员数变化还可能改变数据分片和随机数映射,若不能保持原全局样本计划,就要把它标成新的训练分支,而不是声称同轨迹续训。
缩短恢复时间的三个候选手段:
| 手段 | 效果 |
|---|---|
| 本地 NVMe 缓存完整快照 | 可能缩短读取路径,但节点损坏会一起丢失;仍需把已验证版本发布到独立耐久存储,并实测缓存命中与加载时间 |
| 热备节点 | 只有调度器、镜像、数据和 rendezvous 都准备好时才会缩短等待;热备本身也有成本 |
| NCCL 超时设置合理 | 太长会浪费资源,太短会误杀慢操作;应结合最长合法 collective、网络抖动和故障响应目标设置 |
# Python:创建进程组时配置超时;30 分钟只是示例,不是推荐常数
from datetime import timedelta
import torch.distributed as dist
dist.init_process_group("nccl", timeout=timedelta(minutes=30))
# TORCH_NCCL_BLOCKING_WAIT 等行为需核对当前 PyTorch 版本并配合进程组 timeout
💥 通信无进展不是单一配置问题:rank 异常、collective 次序不一致、DataLoader 停滞、网络或 NCCL 故障都可能表现为训练步数不再前进。
TORCH_NCCL_BLOCKING_WAIT=1需配合进程组timeout才能让等待按配置暴露超时;不同版本的错误传播与清理行为可能不同。GPU 利用率也不能单独证明“正在计算”或“永远挂死”。排查流程见第 10 章。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 11 章 分片保存 | checkpoint 的正确做法 |
| 第 10 章 AllReduce 挂死 | 本章把通信无进展放进故障检测、超时、停止与恢复流程;单一症状不能唯一定位根因 |
| 第 6 章 FP16 溢出 | loss 尖峰的原因之一 |
| ML 基础第 11 章 | 单机版的训练调试 |
| 《模型上线之后》17 版本回溯与可复现 端到端血缘 | "恢复出来的是不是同一条轨迹" —— 本章保存运行状态,那一章登记数据、特征、代码配置、环境、产物、评估与部署血缘 ⭐ |
| 《Kaggle竞赛方法论》04 超参数调优与工程实践 随机种子与可复现性 | 单机版的种子清单;多卡下还要管每个 rank 的种子和数据位置 |
✅ 检查点
- 什么时候可以用 $M_{cluster}=M_{card}/N$?冗余屏蔽为何会让这个除法失效?“10 小时”为什么不是故障时刻表?
- $W(T)\approx C/T+T/(2M)$ 的两项分别来自哪里?$W'(T)$ 表示什么?怎样逐项求导、令斜率为 0,并用 $W''(T)>0$ 证明得到的是最小值?最后怎样用 5 分钟与 600 分钟得到 77.46 分钟?
- 分片 checkpoint 为什么不能靠“每个文件各自 rename”就宣布原子完成?
- 只加载模型权重,缺少哪些状态会让训练轨迹改变?
- 示例在 update 300 保存、update 307 崩溃,什么条件下才可以说要重算 1792 个样本?复杂批次为什么要另存实际消费样本/token?
- 怎么便宜地探测静默错误?DDP 梯度范数不一致能直接证明网络坏了吗?
- loss 突升先保存哪些证据,按什么顺序排查?缓解后怎样做回归?
- 梯度范数突变为何不能直接等于坏 batch?跳更新有哪些边界?
--max-restarts=10为什么不等于一定能恢复十次?- 通信没有进展时,进程组 timeout 与
TORCH_NCCL_BLOCKING_WAIT分别解决什么,不能证明什么?
👀 答案
- 只有各卡故障近似独立、故障率近似稳定、口径一致,并且任一卡故障都会让作业发生有效故障、没有冗余吸收时,故障率才能相加。有冗余屏蔽或相关故障时要按真实作业故障记录重估。$10000/1000=10$ 小时是长期平均间隔,不表示每逢十小时必然坏一张卡。
- $C/T$ 是周期保存开销,$T/(2M)$ 是故障率 $1/M$ 乘以平均回滚损失 $T/2$;$W'(T)$ 是总浪费随间隔 $T$ 的变化速度。$C/T=C\cdot T^{-1}$ 的导数是 $-C\cdot T^{-2}=-C/T^2$;$T/(2M)=(1/(2M))T$ 的导数是 $1/(2M)$。内部最小值先满足斜率为 0:$-C/T^2+1/(2M)=0\Rightarrow T^2=2CM$;因 $T>0$,取 $T=\sqrt{2CM}$。又因 $C>0$、$M>0$、$T>0$ 时 $W''(T)=2C/T^3>0$,驻点向上弯,确为最小值。代入 $C=5$、$M=600$ 得 $\sqrt{6000}\approx77.46$ 分钟;结论仍依赖独立稳定故障率、短保存耗时和回滚到最近完整快照等一阶假设。
- 多个 rank 可能只写完部分分片。应先写临时版本,等待所有分片完成并核对 checksum,再最后发布 manifest 或 current 指针;对象存储和跨文件系统还要使用其提交协议。
- 还需优化器、调度器、GradScaler、optimizer update、数据/sampler 游标、以
{rank: state}保存的每 rank RNG,以及代码、数据、配置和环境信息。缺任一项都可能改变 lr、动量、样本顺序、dropout 或更新计数;world size 变化后不能机械映射旧 rank 状态。 - 仅在 $B_{micro}=4$、$N=8$、$K=8$,等长非尾批、world size 不变且每次 optimizer update 都真实完成、没有 AMP overflow 跳步时,每次更新才固定消费 $256$ 个样本,从 307 回到 300 才是 $7\times256=1792$。复杂批次应保存实际消费样本/token 数与每 rank 游标,不能只靠 update 反推。
- 记录每个 rank 的 epoch、micro-step、update、collective 序列、样本摘要和数值探针。纯 DDP 在同一次同步后对相同完整梯度计算的范数应在容差内一致;不一致只说明测量时点、执行进度、数值或通信至少一项异常,不能唯一证明网络坏了。分片模式不能直接比本地范数。
- 先保存触发 batch、step/rank、loss 口径和健康快照;按输入标签/预处理→每组实际 lr 与优化器/调度恢复→有限性与 AMP→实现模式定位,再单变量重放。裁剪、BF16、warmup、跳更新或回滚是条件化候选;用触发与正常对照、完整恢复状态及固定验证集检查回归,暂时恢复不等于根因闭合。
- 用同一口径的已 unscale、裁剪前范数比较既往历史,先检查 NaN/Inf 与参考窗口;示例仅标记观测,不自动跳步。若按策略跳更新,须保存证据、记录数据偏差并协调各 rank、累积梯度、scaler 与调度计数;10 倍不是通用阈值,no_flag 也不证明训练健康。
- 它只是 worker group 的重启预算。确定性坏数据、代码错误、损坏快照或不兼容成员变化会重复失败;达到预算后应停止、保留证据并处理根因。
- 进程组 timeout 定义合法等待上限;阻塞等待选项使等待按该超时暴露错误,具体行为依版本。它们不会自动修复 collective 次序、DataLoader、rank、网络或 NCCL 问题,也不能只凭 GPU 利用率定位根因。
本节回顾
⚡ 走神救援
⭐ 在独立、稳定故障率,且任一卡故障都会成为作业有效故障、没有冗余屏蔽的教学假设下,$M_{cluster}=M_{card}/N$;它给的是平均间隔,不是故障时刻表。Young 一阶浪费模型 $W(T)\approx C/T+T/(2M)$ 平衡保存开销与平均回滚重算;导数表示总浪费随 $T$ 的变化速度,内部最小值先满足斜率 0,再由 $W''(T)=2C/T^3>0$ 确认它向上弯,才得到 $T\approx\sqrt{2CM}$。最后仍要用本集群数据复测。
四个要点:得到一致 staging 快照、分片保存、所有分片校验后原子发布 manifest/current、保留多个已验证可恢复的代次。异步、NVMe 和热备都只是有条件的加速手段。
⭐ 能加载权重不等于恢复训练。 还要恢复优化器、调度器、scaler、update 计数,以及用
{rank: state}明确保存的每 rank RNG 和数据/sampler 游标;world size 改变时旧 rank 不能机械映射。恢复后核对下一批样本、实际消费样本/token、lr、scale、update 和短窗口训练探针。⭐⭐ 最可怕的不是崩溃,是静默失败——训练照跑、loss 也在降,但结果是错的。⭐ 崩溃是好故障,它至少会告诉你出事了。
⭐ 便宜探针包括 rank 进度、collective 序列、样本摘要、checksum 和数值有限性。纯 DDP 同步后的完整梯度范数应在容差内一致,但差异只说明需要排查,不能唯一证明网络故障;分片模式还要按全局语义聚合。
loss 突升先取证:对齐 batch 与 loss 口径,再查实际 lr/恢复状态、数值与 AMP、实现模式。梯度突变只提供线索,跳更新或回滚须按策略记录且协调各 rank 与状态;换数据顺序是新分支,缓解后仍要重放和独立验证,不能把暂时恢复当根因修复。
⚠️ 自动重启必须有预算和恢复闸门。进程组 timeout 与版本匹配的等待/调试设置用来暴露无进展,不会自动修复坏数据、collective 次序、rank、网络或 NCCL 故障;反复失败就停止并保留证据。
下一节 👉 22-数据管线与存储.md
条件与依据
独立、稳定故障率,且任一卡故障都导致作业有效故障、没有冗余屏蔽时,才有集群 MTBF≈单卡 MTBF/N;相关故障或屏蔽会改变估计。Young 一阶模型用 $C/T$ 与 $T/(2M)$ 表示保存和回滚浪费,忽略恢复、诊断及高阶成本,只是间隔起点。异步 checkpoint 仍有 staging、一致快照和内存成本;应等待上次 future 完成并做真实恢复演练后再淘汰旧副本。PyTorch 进程组超时用 dist.init_process_group(..., timeout=timedelta(...)) 设置;不存在通用 NCCL_TIMEOUT 开关。梯度范数一致性只适用于同一同步点的完整梯度,不能直接比较 FSDP/TP 分片范数。
Young 1974 · 最优 checkpoint 间隔一阶近似;PyTorch Distributed Checkpoint;torchrun Elastic;PyTorch distributed;可复现性边界