AI基础设施 · 14
64 张卡怎样分成 TP、PP 和 DP,才不互相拖慢?
数据副本、层段和层内切分占用不同的通信域。维度乘积能对上卡数,还不等于容量、负载或网络已经匹配。
读完能判断:按容量、互联和目标筛选并行配置,再用同一负载验证。
📑 本页目录(点开跳转)
14 · 并行策略怎么组合
⏱ 22 分钟 | ⭐ 组合训练并行,再单独验推理服务
🎯 一句话
同样是 64 张卡,有的配置装得下却跑得慢,有的训练跑得快却不适合线上请求。先确定要优化的任务,再把卡分给三类工作。数据并行(DP)让多个逻辑副本处理不同数据,张量并行(TP)把层内运算切开,流水线并行(PP)把模型沿深度分成阶段。三者可以组合,候选配置要过容量、拓扑和实测三关。
🏛️ 一、黄金法则
把通信账对上物理拓扑
对照
一个 64 卡(8 机 × 8 卡)的教学候选:
TP=8 ← 机内 8 张卡,走 NVLink
PP=4 ← 每个副本占 4 台机器,跨机传边界张量
DP=2 ← 剩下的维度做数据并行
8 × 4 × 2 = 64 ✅
先把频繁且耗时的通信靠近快链路。对照第 5 章,要看实际路径、单向有效带宽和共享链路。第 12 章的逻辑张量大小还要按集合算法换成每个 rank 的发送量,不能直接套用设备的标称带宽。
🧭 二、决策流程(照着走)
先找放得下的配置,再比较跑得快的配置
- 模型和训练状态能否装下?按权重、梯度、优化器状态、激活和工作区列每卡峰值预算。完整副本能装下时,可先试数据并行;持久状态太大时,评估 ZeRO 或 FSDP 的分片与通信。
- 单层工作集仍过大时,评估 TP。确认可切的权重、激活形状和注意力头布局,再看层内同步要走哪条链路。
- 整个模型仍装不下或阶段划分有利时,评估 PP。按段列显存与耗时,在同一全局批量下试多组微批数和大小,测边界通信与等待。
- 有 MoE 专家或超长序列等特殊结构时,分别检查专家负载、注意力分片和跨卡交换,再决定是否加入 EP 或上下文并行。
先测结构简单的可行候选,例如只用 FSDP。若它达不到容量、吞吐或稳定性目标,再加并行维度,并把负载均衡、检查点和故障排查的成本一起考虑。
📐 三、怎么定各个维度的大小
TP:先选择可行的高速互联域与最小分片数
先找能容纳单层峰值工作集的分片数,再比较同一互联域和必要的跨机方案。以 第 12 章为准,可切权重通常随分片数下降,复制项、激活和通信工作区要另计。注意力头分组、隐藏维的可切性和本地矩阵形状也会约束候选。
PP:在阶段、显存与微批之间找可行点
先按模型结构选切分点,逐段检查最重的层、嵌入和输出头。P 是流水线阶段数,M 是每个流水线副本在一次更新中处理的微批数。第 13 章的训练气泡模型假设阶段等长、忽略通信、非交错且各微批等大,空闲槽占总槽的比例是 (P − 1) ÷ (M + P − 1)。例如 M ≥ 4P 可作扫描起点。它只描述这个模型里的空闲比例,配置仍要核对硬件、模型、实际通信、峰值显存与任务目标。
沿用图里的 8 台机器,每台 8 张卡。假设模型分成四段、同一精度和序列长度,固定 TP = 8、P = 4、D = 2。D 是数据并行副本数。每步全局批量为 128 条序列,每个副本处理 128 ÷ 2 = 64 条。b 是每个微批的序列数,所以 M = 64 ÷ b。按同一工作负载比较 A、B。下表的用时与显存项是教学假设。
| 指标 | A | B |
|---|---|---|
| 微批大小 b | 8 条 | 4 条 |
| 微批数 M | 8 | 16 |
| 理想气泡 | 27.3% | 15.8% |
| 单卡最高峰值 | 68 GiB | 62 GiB |
| 实际口径步时 | 100 ms | 120 ms |
| 吞吐 | 1,280 条/秒 | 约 1,067 条/秒 |
先算理想气泡。 A 的 M = 64 ÷ 8 = 8,空闲占比为 (4 − 1) ÷ (8 + 4 − 1) = 3 ÷ 11 ≈ 27.3%。B 的 M = 64 ÷ 4 = 16,空闲占比为 3 ÷ 19 ≈ 15.8%。实际阶段越不均衡,这个理想数越不能代表步时。
再算显存和边界。 假设显存最高峰出现在同一张卡,峰值时持久状态 52 GiB(含权重、梯度和优化器状态)、临时空间 4 GiB,A 与 B 的驻留激活分别占 12 与 6 GiB。相加得到 68 与 62 GiB,均低于示例预算 76 GiB。GiB 是 230 字节。再选一条对应 rank(通信进程)的跨机路径,假设 A 每个微批单向发 8 MiB,B 发 4 MiB,前向与反向的大小相同。该路径上两方向合计分别是 2 × 8 × 8 = 128 MiB 和 2 × 16 × 4 = 128 MiB(1 MiB = 220 字节)。载荷一样,发送次数是 16 对 32。整个节点的通信还要把共用链路的各个进程列进去。
最后按任务比较。 假设 A 的完整训练步耗时 0.100 秒,B 因更小的算子形状和更频繁的边界提交等因素耗时 0.120 秒。用同样的 128 条序列分别除以两者步时,得 1,280 和约 1,067 条/秒。若训练目标为至少 1,100 条/秒且不超过显存预算,选 A。B 达到 4 × 4 = 16 个微批,理想气泡更小,依然没达到吞吐目标。若预算收紧到 64 GiB,A 超过容量,B 虽放得下却还达不到吞吐目标,应继续试候选。
训练中把最慢阶段的前向、反向、传输和等待分开看。若做在线推理,先固定模型、请求长度分布和到达负载,用服务水平目标(SLO)定义成功与时限,再量首 token 时间(TTFT)、平均每输出 token 时间(TPOT)、达标率和达标吞吐。生成没有训练反向,不能沿用这里的训练气泡占比或微批起点。压测口径见第 20 章。
DP:对齐副本数和全局批量
只使用 DP、TP、PP 三个维度,且所有 GPU 都参与这一个训练任务时,总卡数 = TP × PP × DP。于是 64 张卡取 TP = 8、PP = 4,DP = 64 ÷ (8 × 4) = 2。若除不尽就换候选。带专家并行、上下文并行或其它分片组时,先核对实现的进程组关系。
💡 一个常被忽略的约束:全局 batch
同样大小的微批中,每步全局批量 = 微批大小 b × 每副本的微批数 M × 副本数 D。原因是一个副本处理 M 份,每份 b 条,D 个副本处理不同数据。上例 A 是 8 × 8 × 2 = 128 条,B 是 4 × 16 × 2 = 128 条。模型、精度、序列长度和全局批量对齐后,才比较吞吐;如果改了全局批量,还要检查收敛与优化器设置。
🧠 四、MoE 的专家并行(EP)
结果对照
| 特点 | 说明 |
|---|---|
| 通信原语 | All2All(第 5 章),不是 AllReduce ⭐ |
| 通信量 | 随路由结果、专家放置与有效载荷变化 |
| 主要难点 | ⭐ 负载不均衡 —— 有的专家被路由到很多 token,有的很少 |
| 常见解法 | 辅助损失可鼓励均衡;是否限制容量、怎样处理溢出取决于实现 |
💥 负载不均衡是 MoE 训练最头疼的问题: 如果 90% 的 token 都路由到同一个专家, 那张卡就成了瓶颈,其他卡在等它 —— 整个集群的效率被一张卡拖垮。
🧵 五、序列/上下文并行(长序列时)
结果对照
💡 当单卡激活与注意力工作集超过预算时,可评估上下文并行。 Ring Attention 的思路和 FlashAttention 一脉相承 —— 都是"分块 + 增量累积 softmax",只是一个在片上分块,一个跨卡分块。
📋 六、几组候选配置
| 场景 | 配置 |
|---|---|
| 7B 微调,8 卡 | 先评估 FSDP 与激活重算,按峰值和通信决定是否加 TP/PP |
| 7B 预训练,64 卡 | DP=64 + ZeRO-2 ⭐ |
| 70B 预训练,512 卡 | TP=8, PP=8, DP=8 + 序列并行 |
| 175B+ 预训练,数千卡 | TP=8, PP=16, DP=n + 交错式 1F1B |
| MoE(如 8×7B),64 卡 | EP=8, TP=1~2, DP=剩余 |
| 长上下文(128K) | 上下文并行 + TP + FSDP |
表中是待测的候选。可从较少维度开始,是否加到三维取决于模型工作集、硬件拓扑与目标,不能用卡数单独判断。
🔬 七、怎么验证你的配置是对的
先过约束,再测结果,最后定位差异
- 固定任务、总卡数、模型、精度与训练全局批量。先排除分片不兼容、显存超预算或链路不可用的候选。
- 同一计时口径记录完整训练步时、有效吞吐、峰值显存、各阶段耗时和 MFU。改变 TP 或 PP 时还会改变算子形状和等待,不能把步时差全部记到通信。
- 用性能分析工具对照通信、计算与空闲时间线。在线服务用同一到达负载检查 TTFT、TPOT 和达标率,再比较达标吞吐。
# 🧩 骨架:`total_gpus` 来自你自己的代码,这一段只看写法
# ⭐ 一个实用的扫描脚本骨架
for tp in [1, 2, 4, 8]:
for pp in [1, 2, 4, 8]:
dp = total_gpus // (tp * pp)
if dp < 1 or total_gpus % (tp * pp): continue
if micro_bs * n_micro * dp != global_batch: continue
run_benchmark(tp, pp, dp) # 记录 MFU 和单步时间
上方是候选枚举骨架。需要事先提供卡数、微批参数和实测函数,并在外层传入不同的微批组合,才会比较 A、B 这样的候选。下面的独立 Python 示例只复算本章教学表,无需 GPU 或第三方库。
stages, replicas, global_batch = 4, 2, 128
budget_gib, target_rate = 76, 1100
for label, micro_batch, activation_gib, step_ms in (
("A", 8, 12, 100),
("B", 4, 6, 120),
):
micro_batches, remainder = divmod(global_batch, replicas * micro_batch)
assert remainder == 0
bubble = (stages - 1) / (micro_batches + stages - 1)
peak = 52 + activation_gib + 4
rate = global_batch / (step_ms / 1000)
fits = peak <= budget_gib and rate >= target_rate
print(f"{label}: M={micro_batches}, {bubble:.1%}, "
f"{peak} GiB, {rate:.0f} 条/秒, 达标={fits}")
divmod 同时返回商和余数,只有恰好分成等大微批时才继续。本例 A 打印 M=8, 27.3%, 68 GiB, 1280 条/秒, 达标=True,B 打印 M=16, 15.8%, 62 GiB, 1067 条/秒, 达标=False。
先用理论缩小范围,再用同一负载实测。如果配置因瓶颈落选,保留原因与观测记录,下一轮才知道要改分片、切分点还是微批。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 5 章 带宽层级 | 给出候选通信路径和传输成本 |
| 第 10 章–13 章 | 本章把它们拼起来 |
| 第 11 章 HYBRID_SHARD | 决策树第二步 |
| 第 4 章 MFU | 对齐条件后比较训练效率的参考 |
| 第 8 章 分块累积 | Ring Attention 同源 |
| 《大模型全景导论》主线 4 · 它怎样从续写机变助手 预训练占 99% 算力 | 那边给的是"要烧多少算力",本章是这些算力怎么切到卡上 |
| 《强化学习基础》12 RLHF 全流程 阶段 3 的工程现实 | 四个模型各要一套并行配置(两个在训、两个冻结)—— 本章决策流程最难的一次实战 ⭐ |
✅ 检查点
- 黄金法则是什么?用一句话概括记忆方法。
- 64 卡(8 机×8 卡)的典型配置是什么?
- 决策流程的第一步是什么?最重要的一条建议是什么?
- TP 怎样按容量和通信效率选择?为什么 8 不是通用上限?
- 同样是 4 个阶段,为什么 16 个微批的候选 B 在训练算例里落选?做在线服务时还要看什么?
- 全局 batch 的约束是什么?实践中的定法?
- MoE 用什么通信原语?最头疼的问题是什么?
- 上下文并行和 FlashAttention 有什么共同点?
- 怎么验证配置是对的?为什么不能只凭理论?
👀 答案
- 先把频繁且耗时的通信靠近快链路。常先试机内 TP,再看 PP 的跨机边界和 DP 的同步路径,最终用实测确认。
- TP=8(机内)、PP=4(跨机)、DP=2,8×4×2 = 64。
- 先列权重、梯度、优化器状态、激活和工作区的峰值预算,再从满足容量和目标的简单配置开始测。
- 先按容量、激活与临时空间确定可行候选,再测通信和计算代价。TP=8 来自示例的机内拓扑;必要时也可评估跨机方案,按实际链路与目标效率决定。
- B 的理想气泡是 3 ÷ 19 ≈ 15.8%,但 128 ÷ 0.120 ≈ 1,067 条/秒,未达到 1,100 条/秒的目标。A 只用 8 个微批却达标。在线服务要另测 TTFT、TPOT、达标率与达标吞吐。
- 全局批量等于微批大小 × 每副本微批数 × 副本数。固定全局批量后调整其中一个量,至少还要重算另一个量,并检查内核效率、通信次数和峰值显存。
- All2All(不是 AllReduce)。最头疼的是负载不均衡——如果 90% 的 token 路由到同一个专家,那张卡成为瓶颈,整个集群被一张卡拖垮。解法:辅助损失、容量因子。
- 都是分块 + 增量累积 softmax——FlashAttention 在片上分块,Ring Attention 跨卡分块。
- 固定负载测训练步时、吞吐、峰值显存和同口径 MFU,再用时间线区分计算、通信和等待。配置变化也会改算子形状,步时差只是整体差异。服务要按实际请求负载比较达标指标。
本节回顾
⚡ 走神救援
先记住这几件事
- 数据、张量和流水线并行可以组合,但复杂度和通信成本也会叠加。
- 通信频繁的工作优先靠近高速互联,先尝试能装得下的较简单方案。
- 把每段显存和耗时、边界通信及全局批量放在同一张账里。理想气泡只缩小微批搜索范围,训练看实测吞吐,服务另按 SLO 验收。
下一节 👉 15-推理和训练是两回事.md ⭐