🏠 总目录📚 本教程 速查 ←

AI基础设施 · 附录A

手头这个症状,该查哪个公式、配置或诊断项?

先按症状定位公式或诊断入口,再回正文核对口径。需要复练时,直接跳到下方十题。

读完能判断:快速定位并核对公式单位、配置前提和计算题答案。

📑 本页目录(点开跳转)

附录 A · 速查

📌 Ctrl+F 搜。不要通读。 遇到问题就搜关键词,先核对单位、测量窗口和适用条件,再回相应章节看算例。

⭐ 唯一的例外是最后的「🧮 十道计算题」 —— 那一节要你动笔,不是拿来搜的。公式看懂了,和能口算出来,隔着一层。


🔢 硬件量级与带宽口径

容量用字节,速率还要写清时间和方向。1 B = 8 bit;1 GB = 10⁹ B,1 GiB = 2³⁰ B。换算时先回到字节,再用同一种单位计算。

做耗时估算时,选实际经过的路径、对应方向与实测有效带宽。HBM、NVLink 汇总值和网卡线速不能直接相除来预测加速。见 05 互联与集群拓扑。

GPU 规格例(稠密 BF16 Tensor Core 峰值)
GPU算力容量 / 带宽
A100 80GB SXM312 TFLOP/s80 GB / 2.04 TB/s
H100 80GB SXM约 989 TFLOP/s80 GB / 3.35 TB/s
RTX 4090约 165 TFLOP/s24 GB / 1.01 TB/s

H100 SXM 的稠密 FP8 峰值约 1,979 TFLOP/s;RTX 4090 的 BF16 数字采用 FP32 累加,卡间没有 NVLink。规格例见 A100、H100、RTX 4090 与 02 GPU到底是什么。


🧮 必背公式

公式的完整推导在正文,下方十题可直接复算。速查时先确定分子与分母的层级、单位和范围。

按问题找公式与适用范围
要算什么速查式和边界
算子上界算术强度 I = F ÷ Q。F 是运算次数,Q 是选定层级的实际读写字节。该层带宽为 B、对应算力峰值为 P,性能上界是 min(P, I × B),拐点为 P ÷ B。04 Roofline与MFU
训练 MFU / 时间有效 FLOP/s ÷ 全部 GPU 的同口径峰值。稠密 Transformer 训练可用每 token 约 6N 粗估,N 为参数个数;注意力额外计算随层数、头维和序列长变化。D 为训练 token 总数,估算时用 6ND ÷(集群峰值 × MFU);模型、计费和时间口径固定时,GPU 费用才近似与 MFU 成反比。04 Roofline与MFU、23 可观测性与成本
单请求解码如果每个输出 token 都需从 HBM 读一遍权重,且只计这部分流量,可用显存带宽 ÷ 权重字节估数量级。KV 读写、算子和批处理会改变结果。15 推理和训练是两回事
显存 / KV先分持久状态、激活、工作区与缓存。标准 K/V 各一份、统一精度时,逻辑 KV 字节 = 2 × 层数 × KV 头数 × 每头维度 × 所有活跃请求的缓存 token 数之和 × 每元素字节。分块预留、共享和分片另算。03 显存与带宽墙、16 KV Cache
流水线气泡均衡、等大微批、非交错、忽略通信的训练模型下,空闲槽占比为 (P−1) ÷ (M+P−1),P 是阶段数,M 是每副本每步的微批数。M ≥ 4P 仅作搜索起点。13 流水线并行、14 并行策略怎么组合
Ring AllReduceS 是单 rank 的逻辑输入字节,p 是 rank 数。等分 Ring 中单 rank 发送 2(p−1)S ÷ p 字节,接收同量。若使用以 S 为分子的 algbw,无需再乘一次 Ring 系数。05 互联与集群拓扑、12 张量并行
保存间隔简化模型的候选间隔约 √(2CM),C 是一次保存造成的有效停顿,M 是作业故障平均间隔,时间单位相同。另查恢复和存储开销。21 训练稳定性与故障恢复
服务时延与成本TTFT = 首 token 到达 − 发出请求。TPOT =(末 token 到达 − 首 token 到达)÷(输出 token 数 − 1),至少两个输出 token 才定义。达标率分母是同窗符合统计资格的到达请求;单位成本用同窗费用除以对应输出量或达标数,再乘报告规模。20 推理服务化、23 可观测性与成本

📊 MFU 怎么比较

MFU 没有通用及格线。用同一模型、精度、卡数、全局 token 统计和计时范围,比两次训练的有效模型工作率。GPU-Util 只表示采样期间有内核在执行的时间比例。

同口径比较后再查原因
看到什么下一步
结果与预期差异大先核对峰值精度、稀疏口径、全局 token 与墙钟时间。
对照同口径仍变慢看时间线里的数据等待、跨卡等待和内核空档。
GPU-Util 高但训练慢设备有工作并不能解释效率,检查步时和有效吞吐。

从 04 Roofline与MFU 的计数口径出发,数据等待对照 22 数据管线与存储。


💾 显存账速查(7B 为例)

7B = 70 亿参数。假设同一份模型未分片,参数与梯度用 BF16,另有 FP32 主权重和 Adam 两个 FP32 状态。表中按十进制 GB 算,不同实现重新列账。

每项按 7 × 10⁹ × 每参数字节数核算
训练项目每参数容量
参数2 B14 GB
梯度2 B14 GB
FP32 主权重4 B28 GB
Adam m、v4 + 4 B56 GB
持久项合计16 B112 GB
激活、临时区按执行估随输入、算子与策略变

推理不为反向传播保留训练梯度与优化器状态。改查权重、KV、激活、工作区和分配器;合并时用同一时刻的峰值账。减小微批可影响激活与临时分配,不能由 OOM 是否消失直接定因。见 03 显存与带宽墙、09 显存优化全家桶、16 KV Cache。


🧰 显存优化速查

选手段前先知道想省哪一块
手段先核对
FlashAttention少把注意力中间矩阵写回 HBM,计算依然要做。确认后端、掩码和形状。08 FlashAttention
BF16只有实际换 dtype 的张量字节数才变;主权重与优化器状态可保持 FP32。06 混合精度
激活重算少存前向结果,反向补算。峰值与额外耗时依切分和工作负载。09 显存优化全家桶
ZeRO-2 / ZeRO-3 / FSDP核对分片状态和临时聚合峰值;参数聚合次数与通信量取决于策略和实现。11 ZeRO与FSDP
8-bit Adam / LoRA前者减少矩状态字节,主权重另算;后者减少微调中的可训练参数,基座和激活仍占空间。09 显存优化全家桶
CPU offload把选定状态转到主机,查主机容量、链路带宽及重叠。09 显存优化全家桶

🕸️ 并行策略速查

先查切分对象,再查通信
方法切什么量什么
DP按数据分副本梯度同步、分桶、积累与通信重叠
TP切层内权重或运算集合操作频次、张量字节、每 rank 发送量
PP按深度切阶段每微批边界激活与梯度、阶段耗时、峰值

先按模型、拓扑和显存找可行配置。TP 层内同步频繁,优先测高速互联域;PP 按边界查通信,M ≥ 4P 只作为第 13 章理想训练模型的微批搜索起点。固定全局批量时,改微批数要重算微批大小与副本数。EP 与 CP 则分别按专家与上下文需求评估。见 12 张量并行、13 流水线并行、14 并行策略怎么组合。

AllReduce 可分为 ReduceScatter + AllGather;它描述结果,不说明框架必定采用相同的消息或等待时间。见 10 数据并行与AllReduce、11 ZeRO与FSDP。


🚀 推理速查

分清引擎阶段和用户侧指标
症状 / 目标优先看什么
等首 tokenTTFT 从发出请求起算,包含排队、处理提示与传输。
输出中途卡顿TPOT 看首 token 后的平均间隔;还可查逐 token 间隔及 P95 等尾部指标。
吞吐高但体验差区分输入、可见输出、完成请求与达标请求的吞吐。用同窗符合统计资格的到达请求算达标率,过载拒绝和超时仍计入分母。
每百万 / 每千的成本同窗总费用 ÷ 对应计数,再乘报告规模;达标数为零时单位达标成本未定义。

Prefill 处理提示并建立 KV,可分块;Decode 逐步生成并扩展 KV。两阶段瓶颈依实际 batch、长度、缓存和实现变化。先对齐负载与 SLO,再试引擎、调度、批处理、前缀缓存或 KV 量化。见 15 推理和训练是两回事、17 连续批处理与PagedAttention、20 推理服务化、23 可观测性与成本。

四种方法改的对象不同
方法改变什么
量化改变权重、激活或 KV 的数值表示;核对标度、内核与质量。18 量化
蒸馏用教师信号训练学生;软目标提供类别相对信息,温度与损失属于训练设置。18b 知识蒸馏
剪枝将部分权重置零或移除结构;密集掩码、稀疏内核和裁小形状的开销不同。18c 剪枝与稀疏化
投机解码改变生成流程,先提议再验证;标准采样需按目标分布正确校正,速度要计草稿与验证。19 投机解码

KV 架构速查:MHA 每个查询头对应独立 K/V,GQA 共享组内 K/V,MQA 共享一组。其余维度固定时,前三种的缓存字节量与 KV 头数成正比;MLA 按实际缓存的压缩表示和位置分量另算。质量与实现条件见 16 KV Cache。


⚙️ 常用配置片段

以下保留原配置骨架。启用前对照设备、版本与输入:BF16 通常不需要 FP16 梯度缩放,SDPA 会按条件选后端,DDP 的 no_sync 要覆盖对应前向和反向,vLLM 参数需核对当前版本。拓扑标记用于识别路径;NCCL 等待设置不能单独诊断挂起。见 06 混合精度、08 FlashAttention、10 数据并行与AllReduce、17 连续批处理与PagedAttention、20 推理服务化。

# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
# 混合精度(BF16,不需要 GradScaler)
import torch
import torch.nn.functional as F
with torch.autocast("cuda", dtype=torch.bfloat16):
    loss = model(x)
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

# AdamW 分组:bias/norm 不加 weight decay
decay = [p for n,p in model.named_parameters() if p.ndim > 1 and "bias" not in n]
nodecay = [p for n,p in model.named_parameters() if p.ndim <= 1 or "bias" in n]
opt = torch.optim.AdamW([{"params":decay,"weight_decay":0.01},
                         {"params":nodecay,"weight_decay":0.0}], lr=3e-4, fused=True)

# FlashAttention(自动选后端)
out = F.scaled_dot_product_attention(q, k, v, is_causal=True)

# DDP 梯度累积
ctx = nullcontext() if is_last else model.no_sync()

# vLLM
llm = LLM(model=..., tensor_parallel_size=2, gpu_memory_utilization=0.90,
          enable_prefix_caching=True, kv_cache_dtype="fp8",
          enable_chunked_prefill=True)
# 环境变量
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True   # 抗碎片
export NCCL_DEBUG=INFO                                    # 看实际通信路径
export TORCH_NCCL_BLOCKING_WAIT=1                         # 超时报错而非挂死
export TORCH_LOGS="graph_breaks,recompiles"               # 查 compile 断图

# 诊断命令
nvidia-smi topo -m                    # 拓扑(NV8 好 / SYS 差)
nsys profile -t cuda,nvtx,nccl ...    # 看通信计算是否重叠

🩺 诊断速查表

从症状找下一条证据
症状下一步正文
MFU 比同口径基线低时间线先区分等待、通信和算子。04、22
单卡快多卡慢核对拓扑、实际链路和通信时间。05、14
batch=1 仍 OOM 或看似够查峰值、其他占用、工作区和分配快照。09、11
AMP / compile 没提速看实际精度、内核、重编译和同负载计时。06、07
FlashAttention 未选中查设备、dtype、形状、掩码及后端。08
FSDP / 保存时显存高查包裹粒度、同时聚合的参数和保存格式。11、21
推理吞吐低 / TPOT 毛刺对照队列、Prefill 干扰、KV 预算与逐段耗时。16–17
训练卡住或 loss 尖峰定位各 rank 进展;对齐批次、非有限值和日志。10、21
恢复后精度异常比对下一批样本、训练状态与恢复记录。21

⚠️ 十个容易混用的判断

遇到这些信号,先做一次口径检查
常见误判改查什么
把 GPU-Util 当算力或体验结合有效吞吐、延迟和时间线。
看到自定义 mask 就判定后端核对版本和实选内核。
把 FSDP 当固定省显存比例看分片范围、聚合粒度与临时峰值。
每个微批都同步梯度核对 no_sync 范围与实际同步次数。
漏设 sampler.set_epoch()常见 DistributedSampler 可能每轮重复同一打乱顺序。
FP16 缩放梯度直接裁剪先 unscale_,再按未缩放梯度裁剪。
拿维度 8 倍数当 Tensor Core 门槛查 dtype、布局、内核和硬件约束。
量化后只看 PPL还要测目标任务、延迟和峰值。
恢复时只读模型权重核对优化器、随机状态、步数和数据位置。
用一个等待开关判定 NCCL 挂起对照各 rank 的日志、超时和集合调用顺序。

📖 术语对照

按关键词回原章
术语一句话
MFU / 算术强度(Arithmetic Intensity)有效模型速率与匹配峰值的比值 / 同层级每字节的运算次数。04 Roofline与MFU
TTFT / TPOT发出请求到首 token / 首 token 后平均输出间隔。20 推理服务化
Prefill / Decode处理提示并建立缓存 / 逐步生成并追加缓存。15 推理和训练是两回事
Bubble / Sharding流水线依赖产生的空闲 / 将指定状态切分到多设备。13 流水线并行、11 ZeRO与FSDP
连续批处理(Continuous Batching) / PagedAttention按迭代调度请求 / 通过块映射按需管理 KV。17 连续批处理与PagedAttention
投机解码(Speculative Decoding) / 前缀缓存(Prefix Caching)提议并校正验证 / 复用满足匹配和隔离条件的已缓存前缀。19 投机解码、17 连续批处理与PagedAttention
TP / PP / DP / EP层内切分 / 按阶段切分 / 按数据分副本 / 按专家分布。14 并行策略怎么组合

🧮 十道计算题(这些公式的直接应用)

先自己写出每项的单位和假设,再展开答案。带宽题用十进制 GB/s,容量题需要时同时给出 GB 与 GiB。算完可沿答案链接回正文复查。

1️⃣ 训练显存:70B 全参训练,8 张 A100 80G 够吗?

70B 模型全参训练。假设参数、梯度是 BF16,主权重与 Adam 的 m、v 是 FP32。8 张各按 80 GB 算的 A100 即使能完美分片,持久状态放得下吗?

👀 答案

算一算

参数 140 GB + 梯度 140 GB + 主权重 280 GB + 两份 Adam 状态 560 GB = 1,120 GB。

8 × 80 GB = 640 GB,仍差 480 GB。理想均分时,持久项至少需 1,120 ÷ 80 = 14 张。

14 张只是这套持久状态的容量下界。实际还要算激活、临时聚合、工作区与分片布局。见 03 显存与带宽墙、11 ZeRO与FSDP。

2️⃣ 推理显存:同一个 70B,改成推理呢?

同一个 70B 改做推理。只算权重,BF16 要多少?在一张或两张各按 80 GB 算的卡上有什么余量?若把权重换成理想 INT4,单卡又是多少?

👀 答案

算一算

BF16:70 × 10⁹ × 2 B = 140 GB。单卡少 60 GB,两卡合计 160 GB,权重以外还剩 20 GB。

若引擎预算为每卡容量的 90%,两卡合计 144 GB,理想分配后只余 4 GB 给其余开销。

INT4:70 × 10⁹ × 0.5 B = 35 GB;同一预算规则下,单卡还有 72 − 35 = 37 GB。

INT4 是理想打包大小;标度、零点及对齐另算。剩余预算还要给 KV、工作区和其他分配,能否放下需按每卡实际布局核对。见 18 量化、16 KV Cache。

3️⃣ KV Cache 大小:长上下文 + 大 batch

假设 80 层、每层 8 个 KV 头、每头维度 128,K 与 V 都用 BF16。每个请求缓存 8,192 token,16 个请求共需多少 KV?改为 64 个 KV 头又是多少?

👀 答案

算一算

每层每 token:2 × 8 × 128 × 2 B = 4,096 B。

每 token:80 × 4,096 B = 327,680 B = 320 KiB。

每请求:327,680 × 8,192 = 2,684,354,560 B = 2.5 GiB(约 2.684 GB)。

16 个请求是 40 GiB(约 42.95 GB)。64 个 KV 头是原来的 8 倍,共 320 GiB(约 343.60 GB)。

这是逻辑缓存大小。分页预留、共享、分片与元数据需另算。见 16 KV Cache。

4️⃣ 最大 batch:量化到底买回来多少并发?

7B 模型,32 层、8 个 KV 头、每头维度 128,每请求固定缓存 4,096 token。80 GB 卡给引擎 90% 的容量,比较 BF16 权重与 KV、仅量化权重、仅量化 KV、两者同时量化。权重的 INT4 按 0.5 B/参数,FP8 KV 按 1 B/元素。

👀 答案

算一算

预算:80 × 0.9 = 72 GB。权重是 14 GB(BF16)或 3.5 GB(理想 INT4)。

BF16 KV:2 × 32 × 8 × 128 × 2 B × 4,096 = 536,870,912 B/请求。FP8 按一半算,是 268,435,456 B/请求。

按(预算 − 权重)÷ 每请求 KV 向下取整。都用 BF16:58 × 10⁹ ÷ 536,870,912,得 108。

仅 INT4 权重:68.5 × 10⁹ ÷ 536,870,912,得 127。仅 FP8 KV:58 × 10⁹ ÷ 268,435,456,得 216。

同时量化:68.5 × 10⁹ ÷ 268,435,456,得 255。

这些是仅计权重和 KV 的容量上限。服务并发还要查实测分配、请求长度和时延约束。见 16 KV Cache、18 量化。

5️⃣ 算术强度:Decode 到底离平衡点多远?

A100 示例取 312 TFLOP/s 和 2.0 TB/s。7B BF16 的 Decode 每个输出 token 约做 2N 次运算,N 是参数数。若每步只读一遍权重,算术强度如何随并行请求数变化?

👀 答案

算一算

单请求单步 F = 2 × 7 × 10⁹ = 1.4 × 10¹⁰ FLOP;Q = 14 GB = 1.4 × 10¹⁰ B。

I = F ÷ Q = 1 FLOP/B。B 个请求每步各产一个 token、且共享一次权重读取时,运算量变成 B 倍,I ≈ B FLOP/B。

拐点 312 ÷ 2.0 = 156 FLOP/B。B = 156 到拐点;B > 156 才进入该简化图的算力侧。

这个 B 已超过第 4 题对应 BF16 条件下的容量上限 108。KV 与激活的读写以及实际权重复用会改变算术强度。见 04 Roofline与MFU、15 推理和训练是两回事。

6️⃣ Roofline:Prefill 在哪一侧?它要多久?

沿用上题 A100 和 7B BF16 的简化口径。一次 Prefill 处理 2,048 token,若只计权重流量并忽略额外注意力计算,算术强度、性能上界和耗时下界是多少?

👀 答案

算一算

F = 2 × 7 × 10⁹ × 2,048 = 2.8672 × 10¹³ FLOP,Q = 14 × 10⁹ B,I = 2,048 FLOP/B。

带宽屋顶是 2.0 TB/s × 2,048 FLOP/B = 4,096 TFLOP/s;取较低的 312 TFLOP/s,落在算力侧。

运算下界 F ÷ P ≈ 91.9 ms,搬运下界 Q ÷ 带宽 = 7 ms;此模型的耗时至少约 92 ms。

这里的 92 ms 只来自所列计算与流量。实际 TTFT 还包括服务侧排队、额外算子和传输。长 Prefill 会不会打断 Decode,要看引擎调度与逐 token 延迟。见 04 Roofline与MFU、15 推理和训练是两回事、17 连续批处理与PagedAttention。

7️⃣ MFU:同一配置,两次跑出来多少?

64 张 A100,单卡稠密 BF16 峰值 312 TFLOP/s,训练 7B 模型。分别测得全局 210,000 和 12,000 token/s。按每 token 约 6N 次运算,求两次 MFU。

👀 答案

算一算

集群峰值:64 × 312 × 10¹² = 1.9968 × 10¹⁶ FLOP/s。

第一次:6 × 7 × 10⁹ × 210,000 = 8.82 × 10¹⁵ FLOP/s,MFU 约 44.17%。

第二次:6 × 7 × 10⁹ × 12,000 = 5.04 × 10¹⁴ FLOP/s,MFU 约 2.52%。

这两个值能在同一口径下比较。要定位差异,回看测量窗口、数据等待、通信和算子时间线。见 本页 MFU 检查、04 Roofline与MFU、22 数据管线与存储。

8️⃣ 权重带宽估算:单请求每秒多少 token?

设每生成一个 token 都要从 HBM 完整读一次 70B 权重,先忽略容量与其他流量。H100 以 3.35 TB/s、A100 以 2.0 TB/s 示意,分别估算 H100 BF16、H100 INT4 与 A100 BF16 的单请求速率。

👀 答案

算一算

70B BF16 权重 140 GB,理想 INT4 权重 35 GB。

H100 BF16:3,350 ÷ 140 ≈ 23.93 token/s;INT4:3,350 ÷ 35 ≈ 95.71 token/s。

A100 BF16:2,000 ÷ 140 ≈ 14.29 token/s。

80 GB 的单卡装不下 140 GB BF16 权重。上述比值只反映权重读取的算术;部署还要核对分片、跨卡通信、量化内核和服务指标。见 04 Roofline与MFU、15 推理和训练是两回事、18 量化。

9️⃣ 投机解码:接受率掉了还能救吗?

草稿一步的成本是目标一步的 1/10(c = 0.1)。先提议 k = 4 个 token,条件接受率 α 分别为 0.8、0.5 时,加速比多少?在 α = 0.5 时把 k 改为 8 呢?

👀 答案

算一算

假设每个位置在前面都接受后仍有相同接受率 α,验证成本约为一次目标步,每轮另产出一个目标 token。

每轮期望输出 1 + α + α² + … + αᵏ 个 token,估计成本为 1 + c × k 个目标步。二者相除得到理想加速比。

α = 0.8,k = 4:3.3616 ÷ 1.4 ≈ 2.40 倍。α = 0.5,k = 4:1.9375 ÷ 1.4 ≈ 1.38 倍。

α = 0.5,k = 8:1.99609375 ÷ 1.8 ≈ 1.11 倍。

在 α = 0.5 时,与 k = 4 相比,k = 8 多付的草稿成本抵不过额外产出。在这道题的假设下,1.11 倍仍快于普通逐步生成。换模型、负载或批处理设置时,接受率、验证开销和可用计算资源都要重新量。见 19 投机解码。

🔟 量化后显存:14B 这一整套账

14B 模型的 FP16、INT8、INT4 权重各占多少?沿用第 1 题的训练口径,持久项要多少?再算 80 GB 卡给引擎 90% 容量时的 INT4 推理:40 层、8 个 KV 头、头维度 128,每请求缓存 4,096 token,KV 分别采用 FP16 和 FP8。

👀 答案

算一算

FP16 / INT8 / 理想 INT4 权重分别为 28 / 14 / 7 GB。训练持久项 14 × 16 = 224 GB,另计激活与工作区。

理想 INT4 后剩 80 × 0.9 − 7 = 65 GB。FP16 KV 每 token:2 × 40 × 8 × 128 × 2 B = 163,840 B。

FP16 KV 每请求 163,840 × 4,096 = 671,088,640 B。65 × 10⁹ ÷ 671,088,640 向下取整为 96;这 96 个请求的 KV 合计约 64.42 GB,权重为 7 GB。

FP8 KV 每请求 335,544,320 B。仍按 65 GB 除并向下取整,得到 193。

这是两份理想容量账。量化元数据、页块预留、工作区、精度影响与延迟约束都要另查。见 16 KV Cache、18 量化、03 显存与带宽墙。

复核时先问三件事:容量是否用了同一种单位?性能是否用了同一种测量口径?结论是否带上题设条件?上线容量和时延需要用真实负载验证。


🔗 跨教程

这里学的 相关
反向传播要缓存激活 ML 基础 08、数学原理 12
Adam 的 m、v ML 基础 09
Transformer / attention 全景导论主线 2 · 模型怎样看懂一句话
推理成本与部署 智能体工程教程
先测再优化的方法论 ML 基础 11、Kaggle

👉 回到首页

条件与依据

硬件规格使用标称峰值,链路带宽区分单向和双向汇总。练习容量只计题设项目,线上还需核对工作区、元数据和 SLO。第 5、6、8 题使用权重流量模型,计算后的速率或耗时是该模型的估算值。

NVIDIA GPU 性能背景 · DeepSpeed ZeRO 文档 · NCCL Tests 带宽口径

打卡记录保存在你的浏览器里,首页能看到总进度