🏠 总目录📚 本教程 稳定性与容错 ← →

AI基础设施 · 21

多久存一次 checkpoint,才不把恢复成本换成写盘瓶颈?

保存太少会增加丢失的工作,保存太多会占用资源。先列出恢复要还原的状态,再看故障与写盘的成本。

读完能判断:把故障损失、保存开销、静默错误与恢复步骤分开核算。

📑 本页目录(点开跳转)

21 · 训练稳定性与故障恢复

⏱ 26 分钟 | ⭐ 千卡训练时,硬件故障是常态不是意外


🎯 一句话

大规模训练必须同时回答两个问题:故障后能不能继续,以及继续的是否还是原来那条训练轨迹。 只加载模型权重通常只能让程序重新启动,不能证明优化器、学习率、随机数和数据位置已经接上。 而比崩溃更难发现的,是程序仍在运行、结果却已经悄悄偏离的静默错误。


📉 一、先接受一个数字

先做一个教学估算。设单卡平均无故障时间为 $M_{card}$,同时使用的卡数为 $N$。只有在各卡故障近似独立、故障率近似稳定时,才可以把故障率相加:

$$\lambda_{cluster}=\frac{N}{M_{card}},\qquad M_{cluster}=\frac{1}{\lambda_{cluster}}=\frac{M_{card}}{N}$$

完整代入

教学假设:单卡 MTBF $M_{card}=10000$ 小时,卡数 $N=1000$
集群平均故障间隔:$M_{cluster}=10000/1000=10$ 小时
30 天共有 $30\times24=720$ 小时,期望故障次数约为 $720/10=72$ 次
这不是“每 10 小时准时坏一次”,而是长期平均值;真实集群要用自己的故障记录重估

先分清目标

可启动:权重能加载,程序能继续执行

可恢复训练:模型、优化器、调度器、精度状态、随机数和数据位置一致,恢复后通过校验

常见故障类型:

故障 可见信号 恢复前要确认
GPU 掉卡 / ECC 错误 进程退出、设备错误或 ECC 计数变化 故障节点是否隔离;快照是否在故障前完整发布
网络抖动 / NCCL 超时 collective 长时间无进展、超时或通信错误 各 rank 的 collective 次序、节点状态和网络证据;不能只看 GPU 利用率
节点 OOM / 被抢占 OOM、调度器回收或实例终止通知 新成员数是否改变;数据分片和随机种子是否需要重新定义
磁盘满 / 慢 写入失败、延迟上升或校验失败 不能把半成品目录登记为“最新”;先验证所有分片和 manifest
⭐ 静默数据损坏 可能只有 checksum、数据抽样或训练指标异常 原始数据、预处理产物和快照是否有可核对的版本与校验值

💾 二、Checkpoint 策略

保存太密,训练时间被写盘占用;保存太疏,一次故障会丢掉更多已经计算的进度。在“故障近似独立、发生率稳定、保存耗时远小于 MTBF、故障在间隔内近似均匀、失败后回到最近一次完整快照,且暂不计恢复和诊断耗时”的一阶模型下,可以先写出单位有效训练时间的额外浪费比例:

$$W(T)\approx\frac{C}{T}+\frac{T}{2M}$$

先解释这里的“导数”:把 checkpoint 间隔 $T$ 想成一个可以缓慢转动的旋钮。$W'(T)$ 表示“$T$ 稍微增大一点时,总浪费 $W$ 变化得多快”,也就是曲线在当前位置的斜率。$W'(T)<0$ 表示继续增大 $T$ 会让浪费下降;$W'(T)>0$ 表示继续增大 $T$ 会让浪费上升。

如果最小值位于允许范围 $T>0$ 的内部,而不是人为规定的边界上,那么曲线必须从“向下走”转为“向上走”。这个转折位置的斜率应为 0,所以先寻找满足 $W'(T)=0$ 的驻点候选。注意:斜率为 0 只说明它是候选点,还不能单独证明它不是最大值。

逐项求导,不跳步

先改写第一项:$C/T=C\cdot T^{-1}$。$C$ 是常数;用幂函数规则“$T^n$ 的导数是 $nT^{n-1}$”,得到 $C\cdot(-1)T^{-2}=-C/T^2$
再改写第二项:$T/(2M)=(1/(2M))T$。$1/(2M)$ 是常数,而 $T$ 的导数是 1,所以导数为 $1/(2M)$
两项相加:$W'(T)=-C/T^2+1/(2M)$
令斜率为 0:$-C/T^2+1/(2M)=0$
移项:$C/T^2=1/(2M)$;两边乘 $2MT^2$,得到 $2CM=T^2$
因为间隔必须为正,只取正根:$T=\sqrt{2CM}$

最后确认它确实是最小值。再求一次导数可得 $W''(T)=2C/T^3$。在 $C>0$、$M>0$、$T>0$ 的模型范围内,$W''(T)>0$,表示曲线在驻点附近向上弯,因此这个驻点是最小值而不是最大值。直觉上的“保存越频繁写盘越贵、保存越稀疏回滚越多”帮助记忆,但不能代替上面的推导。

所以:

$$T\approx\sqrt{2CM}$$

这是 Young 一阶近似的推导起点,不是对相关故障、长时间保存或带冗余集群的通用最优解。权威出处:John W. Young, A First Order Approximation to the Optimum Checkpoint Interval, Communications of the ACM, 1974。

完整代入

教学输入:$C=5$ 分钟,$M=10$ 小时 $=600$ 分钟

$T=\sqrt{2\times5\times600}=\sqrt{6000}\approx77.46$ 分钟

保存开销占比约为 $C/T=5/77.46\approx6.5\%$

若故障在区间内近似均匀发生,单次故障平均丢失约 $T/2\approx38.73$ 分钟进度

所以可先试 75–80 分钟,再用真实保存耗时、故障记录和吞吐复测;不是机械地“每小时一次”

四个必须做对的点:

要点 说明
异步保存 ⭐ 先得到一致的 staging 快照,再后台写盘。它可能减少前台暂停,但会增加主机内存和并发 I/O;不能承诺固定提速
分片保存 ⭐ 每个 rank 存自己那片(第 11 章),别汇总到 rank 0
原子写入 所有分片写入临时版本并校验完成后,最后发布 manifest 或“current”指针。单文件同文件系统 rename 常可原子替换;对象存储和跨文件系统需要各自的提交协议
保留多份 保留多个已验证可恢复的代次,并把保留数写成策略;“3 份”可以是起点,不是通用安全下限
# 配置骨架:所有 rank 参与;这里只展示状态收集和等待,不是完整发布协议
import torch.distributed.checkpoint as dcp
import torch.distributed as dist
from torch.distributed.checkpoint.state_dict import get_state_dict
model_state, optim_state = get_state_dict(model, opt)
local_resume = {"rank": dist.get_rank(),
                "rng": get_rng_state(),
                "data_cursor": data_cursor}
all_resume = [None] * dist.get_world_size()
dist.all_gather_object(all_resume, local_resume)
resume_state_by_rank = {item["rank"]: item for item in all_resume}
state = {"model": model_state, "optim": optim_state,
         "scheduler": scheduler.state_dict(),
         "scaler": scaler.state_dict(),
         "optimizer_update": optimizer_update,
         "world_size": dist.get_world_size(),
         "resume_state_by_rank": resume_state_by_rank}
fut = dcp.async_save(state, checkpoint_id=f"ckpt/step-{step}")
# staging 仍可能阻塞;下一次保存或退出前等待上次完成
fut.result()
# 生产系统还要校验所有分片,再原子发布 manifest/current 指针
# load 完成后:world size 必须先匹配,再取回当前 rank 的本地状态
if state["world_size"] != dist.get_world_size():
    raise RuntimeError("world size changed; cannot mechanically map rank state")
mine = state["resume_state_by_rank"][dist.get_rank()]
set_rng_state(mine["rng"])
data_cursor = restore_data_cursor(mine["data_cursor"])

上面用 {rank: state} 明确表达“每个 rank 各有一份 RNG 和数据游标”;恢复时先核对保存的 world_size,再让当前 rank 取回自己的条目并调用对应的 RNG/数据游标恢复函数。示例中的 all_gather_object 只适合解释小型元数据;生产系统应按框架能力把张量化状态放进分片 checkpoint。world size 改变后,旧 rank 与新 rank 没有天然一一对应关系,shuffle、数据分片和随机流都可能改变,不能机械按 rank 号映射并声称同轨迹恢复。

⭐ checkpoint 里必须存什么

一条可恢复训练链

模型参数 + 优化器状态(含 step、动量与二阶矩)
学习率调度器 + AMP GradScaler + 已完成的 optimizer update 数
每个 rank 的 Python / NumPy / CPU / CUDA 随机数状态
数据版本 + sampler/loader 的 epoch、分片、游标和 shuffle 状态
代码提交、超参数、拓扑、精度与库版本等运行配置
所有分片 checksum + manifest + 已完成发布标记

安全边界:尽量在一次 optimizer update 完成、没有未提交累计梯度时保存。若必须保存 micro-step 中间态,还要保存已累计梯度、当前 micro-step 和对应数据游标;否则“恢复”会少算或重复一部分梯度。固定种子也不保证跨硬件、驱动和非确定性算子逐位一致。

🧮 一次完整恢复到底接上什么

教学设定:每个 rank 每个 micro-step 的样本数 $B_{micro}=4$,world size $N=8$,梯度累积步数 $K=8$。在每个 rank 的批次等长、没有尾批、world size 不变、每组 $K$ 次累积都真正完成一次 optimizer update,并且没有 AMP overflow 导致跳步时,每次成功更新消耗的全局样本数为:

$$B_{global}=B_{micro}\times N\times K=4\times8\times8=256$$

在上述限定下,第 300 次成功完成的参数更新后保存,累计消费 $300\times256=76800$ 个全局样本。训练在第 307 次成功更新后崩溃,回到第 300 次快照会重算 $7\times256=1792$ 个样本。若存在尾批、动态 batch、world size 变化、梯度溢出跳步或按 token 组批,就不能用 update 数机械反推消费量,必须持久化实际已消费的样本数/token 数以及每 rank 数据游标。要让这 7 次更新按原顺序重放,还必须同时恢复:

状态只恢复权重会怎样正确核对
优化器与 update=300Adam 动量丢失,下一步参数变化不同核对状态张量、步数与参数组
scheduler 与 scaler学习率或跳步判断错位恢复后第一步记录真实 lr、scale 与是否更新
数据游标与 sampler样本重复、跳过或顺序改变核对下一批样本 ID 与数据版本
每 rank RNGdropout、增强或采样分支改变在允许确定性的范围内比较恢复前后探针

恢复验收至少包括:manifest 完整、checksum 通过、状态字段齐全、下一批样本 ID 正确、第一轮 lr/scale/update 计数正确,以及短窗口 loss/梯度没有不合理跳变。“load_state_dict 没报错”不等于恢复验收通过。


🔍 三、最可怕的:不崩溃的错误

对照

⚠️ 崩溃是【好】故障——它会告诉你出事了

真正危险的是【静默失败】:训练照跑,loss 也在降,但结果是错的

四种典型的静默失败:

类型 表现 怎么发现
rank 进度或 collective 次序分叉 可能等待、超时,也可能在错误位置继续记录指标 核对每个 rank 的 epoch、micro-step、optimizer update 与 collective 序列
数据管线错位 学到的东西不对 记录样本 ID、标签摘要、预处理版本和 batch checksum,定期抽样回放 ⭐
恢复后数据重复 过拟合特定样本 checkpoint 保存数据游标、sampler 状态,并核对恢复后的下一批样本 ID
ECC 未纠正的位翻转 极偶发的数值异常 监控 ECC 计数器,nvidia-smi -q -d ECC
# 可直接运行的离线探针:先比较“进度是否一致”,不自动宣布根因
def probe_rank_records(records):
    keys = ("epoch", "micro_step", "optimizer_update", "collective_seq")
    mismatched = {
        key: sorted({record[key] for record in records})
        for key in keys
        if len({record[key] for record in records}) != 1
    }
    return {"needs_investigation": bool(mismatched), "mismatched": mismatched}

records = [
    {"rank": 0, "epoch": 2, "micro_step": 2408,
     "optimizer_update": 301, "collective_seq": 781},
    {"rank": 1, "epoch": 2, "micro_step": 2408,
     "optimizer_update": 301, "collective_seq": 780},
]
print(probe_rank_records(records))
# {'needs_investigation': True, 'mismatched': {'collective_seq': [780, 781]}}

🔑 探针只能缩小范围,不能从一个数字直接宣布根因。 纯 DDP 中,如果各 rank 在同一次同步完成后对相同的完整梯度计算范数,结果应在约定容差内一致;不一致说明测量时点、执行进度、数值状态或通信路径至少有一项需要排查,不能只凭它断言“网络坏了”。FSDP、张量并行等分片模式下,本地范数本来就可能不同。


🩹 四、训练不稳定:loss 尖峰

关键信息

🔎 先定位,再试稳定化手段

先冻结突升前后的证据:记录 global step、实际完成的 optimizer update 次数、rank、样本 ID/数据版本、预处理与代码配置版本,以及原始 loss、有效 token/样本数和聚合方式。核对是同一训练目标的突升,还是日志从均值变求和、mask/分母改变,或训练/验证模式切换。保存可重放的 batch 与突升前可恢复快照;不能把已污染状态当健康基线。

顺序与观测下一步检查能支持什么,不能证明什么
① 固定 batch,先查输入核对样本/标签对齐、范围、NaN/Inf、长度分布、padding 与 loss mask、预处理版本。用相同突升前状态比较触发 batch 和正常 batch;保留数据加载位置与随机数状态。相同状态下触发 batch 才异常,支持数据或数据与模型的交互假设;长度大、重复样本或换顺序后恢复都不能单独证明坏数据。
② 对齐真实学习率与优化器状态读每个 optimizer.param_groups 的实际 lr,对照 warmup/调度预期;查 optimizer 动量/步数、scheduler 状态是否恢复,是否重复更新、漏更新、把 micro-step 当 update。按所用 scheduler 核对 step/epoch/指标驱动语义及调用顺序。配置中的初始 lr 不能代替运行时各组 lr;恢复点的跳变支持状态/调度问题,降 lr 暂时稳定仍不是根因证明。
③ 定位首个非有限值在小范围诊断中检查输入→激活→loss→梯度的有限性、裁剪前范数,以及 FP16 AMP 的 scale、跳过更新次数。累积结束后,按官方 AMP 流程先 unscale_ 再检查/裁剪;同一 optimizer 的本次更新只 unscale 一次。非有限梯度可导致 GradScaler 跳过更新,但高 loss 不一定溢出;BF16 的范围更大,也不能修复坏标签、错误公式或保证稳定。FSDP/TP 分片范数需按相应语义解释。
④ 对齐实现与模式变更从版本差异查 train()/eval()、no_grad/detach、清零与累积、loss 缩放、参数是否冻结,以及新算子/精度配置。比较实际参数增量与更新计数;从同一状态只改一个因素,观察能否触发及消除异常。固定种子有助于比较,不保证跨版本/设备逐位相同;若不能重现,保留未解释项和追加监测,不能宣称原因已闭合。

症状入口见 ML 基础 11 · loss 调试;调度与更新语义见 ML 基础 09 · Scheduler。这里强调事件定位顺序,先复现,再逐项改变条件。

五个实用的稳定化手段:

手段 说明
梯度裁剪 先查裁剪前范数与有限性,再选阈值;1.0 只是候选。FP16 AMP 需先 unscale,不能用裁剪掩盖 NaN/Inf。
跳过异常 batch ⭐ 相对历史的突变只触发取证。只有预先定义的策略才跳更新,并记录样本、原因与次数;分布式各 rank 一致处置,不能只在一个 rank 跳过。
BF16 而非 FP16 在已确认精度范围问题且硬件/算子支持时评估;不能保证消除溢出或所有数值错误(第 6 章)。
充分的 warmup 先核对实际 lr、有效 batch 与恢复状态;再单变量评估 warmup,不能用它遮蔽错误的调度步数。
回滚重跑 先取证,再从经核验的健康快照恢复模型、优化器、调度器、scaler、数据位置与随机状态。改变数据顺序应另立分支记录,不能冒充同轨迹恢复。
# 教学诊断示意:只标记观测,不执行训练、跳步或改学习率
import math
import statistics

def gradient_flag(current_norm, previous_norms, ratio=10.0):
    # 输入应为同一测量口径、已 unscale 且裁剪前的范数
    # previous_norms 不含当前值;100 和 10 都只是示意窗口/阈值
    if not math.isfinite(ratio) or ratio <= 1:
        raise ValueError("ratio must be finite and > 1")
    if not math.isfinite(current_norm) or current_norm < 0:
        return "inspect_nonfinite_or_invalid"
    history = list(previous_norms)[-100:]
    if not history or any(not math.isfinite(x) or x < 0 for x in history):
        return "inspect_reference"
    baseline = statistics.median(history)
    if baseline == 0:
        return "inspect_zero_reference"
    return "inspect_outlier" if current_norm > ratio * baseline else "no_flag"

print(gradient_flag(30.0, [1.0, 2.0, 3.0]))  # inspect_outlier
# no_flag 也不证明训练健康;标记后仍需上表的 batch/lr/数值/实现取证

💡 恢复能继续运行,不等于根因已修复。先按本页 checkpoint 清单验证恢复状态;若主动跳过数据或改变顺序,记录差异、有效样本量和更新/调度计数。丢弃累计梯度或 AMP 跳过更新时,scaler 与 scheduler 应按所用训练器的实际更新语义协调,不能照搬“zero_grad 后继续走一步”。给重试设上限,反复失败就停下来取证。

回归边界:从同一健康状态分别重放触发 batch 与正常对照,比较 loss 口径、有限性、实际 lr、梯度/参数增量及实际更新次数;每次只改一个因素。随后在固定、独立的验证数据与约定观察窗口检查质量、再次尖峰和吞吐代价。只有“现象可触发、干预后消失、对照与恢复状态符合预期”的证据,才支持该次定位;未重现或只暂时降 loss,应保留为待查/缓解,不能宣布真实训练已稳定。

依据:PyTorch AMP 检查与裁剪、调度调用语义、恢复训练状态、可复现性边界。上面的排序是组织诊断的建议,不是任何单条日志都能确定根因的定理。


🔁 五、弹性训练与快速恢复

恢复不是“无限重启”

① 发现无进展、进程退出、非有限值或存储错误
② 停止并隔离失败 worker group,保留故障证据
③ 只选择状态为 COMPLETE 且 checksum 通过的 checkpoint
④ 恢复模型 + 优化器 + 调度器 + scaler + RNG + 数据游标
⑤ 通过下一批样本、update/lr/scale 和短窗口训练探针后再继续
# 配置示例:允许 worker group 最多重启 10 次;它不会替你保存或验证训练状态
torchrun --nnodes=8 --nproc-per-node=8 \
  --max-restarts=10 \
  --rdzv-backend=c10d \
  --rdzv-endpoint="$MASTER:29500" \
  train.py

--max-restarts=10 是重试预算,不是“必然恢复 10 次”的承诺。确定性坏数据、错误代码或损坏快照会反复在同一点失败;达到预算后必须停止、保留证据并交给人处理。成员数变化还可能改变数据分片和随机数映射,若不能保持原全局样本计划,就要把它标成新的训练分支,而不是声称同轨迹续训。

缩短恢复时间的三个候选手段:

手段 效果
本地 NVMe 缓存完整快照 可能缩短读取路径,但节点损坏会一起丢失;仍需把已验证版本发布到独立耐久存储,并实测缓存命中与加载时间
热备节点 只有调度器、镜像、数据和 rendezvous 都准备好时才会缩短等待;热备本身也有成本
NCCL 超时设置合理 太长会浪费资源,太短会误杀慢操作;应结合最长合法 collective、网络抖动和故障响应目标设置
# Python:创建进程组时配置超时;30 分钟只是示例,不是推荐常数
from datetime import timedelta
import torch.distributed as dist
dist.init_process_group("nccl", timeout=timedelta(minutes=30))
# TORCH_NCCL_BLOCKING_WAIT 等行为需核对当前 PyTorch 版本并配合进程组 timeout

💥 通信无进展不是单一配置问题:rank 异常、collective 次序不一致、DataLoader 停滞、网络或 NCCL 故障都可能表现为训练步数不再前进。TORCH_NCCL_BLOCKING_WAIT=1 需配合进程组 timeout 才能让等待按配置暴露超时;不同版本的错误传播与清理行为可能不同。GPU 利用率也不能单独证明“正在计算”或“永远挂死”。排查流程见第 10 章。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 11 章 分片保存 checkpoint 的正确做法
第 10 章 AllReduce 挂死 本章把通信无进展放进故障检测、超时、停止与恢复流程;单一症状不能唯一定位根因
第 6 章 FP16 溢出 loss 尖峰的原因之一
ML 基础第 11 章 单机版的训练调试
《模型上线之后》17 版本回溯与可复现 端到端血缘 "恢复出来的是不是同一条轨迹" —— 本章保存运行状态,那一章登记数据、特征、代码配置、环境、产物、评估与部署血缘 ⭐
《Kaggle竞赛方法论》04 超参数调优与工程实践 随机种子与可复现性 单机版的种子清单;多卡下还要管每个 rank 的种子和数据位置

✅ 检查点

  1. 什么时候可以用 $M_{cluster}=M_{card}/N$?冗余屏蔽为何会让这个除法失效?“10 小时”为什么不是故障时刻表?
  2. $W(T)\approx C/T+T/(2M)$ 的两项分别来自哪里?$W'(T)$ 表示什么?怎样逐项求导、令斜率为 0,并用 $W''(T)>0$ 证明得到的是最小值?最后怎样用 5 分钟与 600 分钟得到 77.46 分钟?
  3. 分片 checkpoint 为什么不能靠“每个文件各自 rename”就宣布原子完成?
  4. 只加载模型权重,缺少哪些状态会让训练轨迹改变?
  5. 示例在 update 300 保存、update 307 崩溃,什么条件下才可以说要重算 1792 个样本?复杂批次为什么要另存实际消费样本/token?
  6. 怎么便宜地探测静默错误?DDP 梯度范数不一致能直接证明网络坏了吗?
  7. loss 突升先保存哪些证据,按什么顺序排查?缓解后怎样做回归?
  8. 梯度范数突变为何不能直接等于坏 batch?跳更新有哪些边界?
  9. --max-restarts=10 为什么不等于一定能恢复十次?
  10. 通信没有进展时,进程组 timeout 与 TORCH_NCCL_BLOCKING_WAIT 分别解决什么,不能证明什么?
👀 答案
  1. 只有各卡故障近似独立、故障率近似稳定、口径一致,并且任一卡故障都会让作业发生有效故障、没有冗余吸收时,故障率才能相加。有冗余屏蔽或相关故障时要按真实作业故障记录重估。$10000/1000=10$ 小时是长期平均间隔,不表示每逢十小时必然坏一张卡。
  2. $C/T$ 是周期保存开销,$T/(2M)$ 是故障率 $1/M$ 乘以平均回滚损失 $T/2$;$W'(T)$ 是总浪费随间隔 $T$ 的变化速度。$C/T=C\cdot T^{-1}$ 的导数是 $-C\cdot T^{-2}=-C/T^2$;$T/(2M)=(1/(2M))T$ 的导数是 $1/(2M)$。内部最小值先满足斜率为 0:$-C/T^2+1/(2M)=0\Rightarrow T^2=2CM$;因 $T>0$,取 $T=\sqrt{2CM}$。又因 $C>0$、$M>0$、$T>0$ 时 $W''(T)=2C/T^3>0$,驻点向上弯,确为最小值。代入 $C=5$、$M=600$ 得 $\sqrt{6000}\approx77.46$ 分钟;结论仍依赖独立稳定故障率、短保存耗时和回滚到最近完整快照等一阶假设。
  3. 多个 rank 可能只写完部分分片。应先写临时版本,等待所有分片完成并核对 checksum,再最后发布 manifest 或 current 指针;对象存储和跨文件系统还要使用其提交协议。
  4. 还需优化器、调度器、GradScaler、optimizer update、数据/sampler 游标、以 {rank: state} 保存的每 rank RNG,以及代码、数据、配置和环境信息。缺任一项都可能改变 lr、动量、样本顺序、dropout 或更新计数;world size 变化后不能机械映射旧 rank 状态。
  5. 仅在 $B_{micro}=4$、$N=8$、$K=8$,等长非尾批、world size 不变且每次 optimizer update 都真实完成、没有 AMP overflow 跳步时,每次更新才固定消费 $256$ 个样本,从 307 回到 300 才是 $7\times256=1792$。复杂批次应保存实际消费样本/token 数与每 rank 游标,不能只靠 update 反推。
  6. 记录每个 rank 的 epoch、micro-step、update、collective 序列、样本摘要和数值探针。纯 DDP 在同一次同步后对相同完整梯度计算的范数应在容差内一致;不一致只说明测量时点、执行进度、数值或通信至少一项异常,不能唯一证明网络坏了。分片模式不能直接比本地范数。
  7. 先保存触发 batch、step/rank、loss 口径和健康快照;按输入标签/预处理→每组实际 lr 与优化器/调度恢复→有限性与 AMP→实现模式定位,再单变量重放。裁剪、BF16、warmup、跳更新或回滚是条件化候选;用触发与正常对照、完整恢复状态及固定验证集检查回归,暂时恢复不等于根因闭合。
  8. 用同一口径的已 unscale、裁剪前范数比较既往历史,先检查 NaN/Inf 与参考窗口;示例仅标记观测,不自动跳步。若按策略跳更新,须保存证据、记录数据偏差并协调各 rank、累积梯度、scaler 与调度计数;10 倍不是通用阈值,no_flag 也不证明训练健康。
  9. 它只是 worker group 的重启预算。确定性坏数据、代码错误、损坏快照或不兼容成员变化会重复失败;达到预算后应停止、保留证据并处理根因。
  10. 进程组 timeout 定义合法等待上限;阻塞等待选项使等待按该超时暴露错误,具体行为依版本。它们不会自动修复 collective 次序、DataLoader、rank、网络或 NCCL 问题,也不能只凭 GPU 利用率定位根因。

本节回顾

⚡ 走神救援

⭐ 在独立、稳定故障率,且任一卡故障都会成为作业有效故障、没有冗余屏蔽的教学假设下,$M_{cluster}=M_{card}/N$;它给的是平均间隔,不是故障时刻表。Young 一阶浪费模型 $W(T)\approx C/T+T/(2M)$ 平衡保存开销与平均回滚重算;导数表示总浪费随 $T$ 的变化速度,内部最小值先满足斜率 0,再由 $W''(T)=2C/T^3>0$ 确认它向上弯,才得到 $T\approx\sqrt{2CM}$。最后仍要用本集群数据复测。

四个要点:得到一致 staging 快照、分片保存、所有分片校验后原子发布 manifest/current、保留多个已验证可恢复的代次。异步、NVMe 和热备都只是有条件的加速手段。

⭐ 能加载权重不等于恢复训练。 还要恢复优化器、调度器、scaler、update 计数,以及用 {rank: state} 明确保存的每 rank RNG 和数据/sampler 游标;world size 改变时旧 rank 不能机械映射。恢复后核对下一批样本、实际消费样本/token、lr、scale、update 和短窗口训练探针。

⭐⭐ 最可怕的不是崩溃,是静默失败——训练照跑、loss 也在降,但结果是错的。⭐ 崩溃是好故障,它至少会告诉你出事了。

⭐ 便宜探针包括 rank 进度、collective 序列、样本摘要、checksum 和数值有限性。纯 DDP 同步后的完整梯度范数应在容差内一致,但差异只说明需要排查,不能唯一证明网络故障;分片模式还要按全局语义聚合。

loss 突升先取证:对齐 batch 与 loss 口径,再查实际 lr/恢复状态、数值与 AMP、实现模式。梯度突变只提供线索,跳更新或回滚须按策略记录且协调各 rank 与状态;换数据顺序是新分支,缓解后仍要重放和独立验证,不能把暂时恢复当根因修复。

⚠️ 自动重启必须有预算和恢复闸门。进程组 timeout 与版本匹配的等待/调试设置用来暴露无进展,不会自动修复坏数据、collective 次序、rank、网络或 NCCL 故障;反复失败就停止并保留证据。

下一节 👉 22-数据管线与存储.md

条件与依据

独立、稳定故障率,且任一卡故障都导致作业有效故障、没有冗余屏蔽时,才有集群 MTBF≈单卡 MTBF/N;相关故障或屏蔽会改变估计。Young 一阶模型用 $C/T$ 与 $T/(2M)$ 表示保存和回滚浪费,忽略恢复、诊断及高阶成本,只是间隔起点。异步 checkpoint 仍有 staging、一致快照和内存成本;应等待上次 future 完成并做真实恢复演练后再淘汰旧副本。PyTorch 进程组超时用 dist.init_process_group(..., timeout=timedelta(...)) 设置;不存在通用 NCCL_TIMEOUT 开关。梯度范数一致性只适用于同一同步点的完整梯度,不能直接比较 FSDP/TP 分片范数。

Young 1974 · 最优 checkpoint 间隔一阶近似;PyTorch Distributed Checkpoint;torchrun Elastic;PyTorch distributed;可复现性边界

打卡记录保存在你的浏览器里,首页能看到总进度