🏠 总目录📚 本教程 并行策略组合 ← →

AI基础设施 · 14

64 张卡怎样分成 TP、PP 和 DP,才不互相拖慢?

数据副本、层段和层内切分占用不同的通信域。维度乘积能对上卡数,还不等于容量、负载或网络已经匹配。

读完能判断:按容量、互联和目标筛选并行配置,再用同一负载验证。

📑 本页目录(点开跳转)

14 · 并行策略怎么组合

⏱ 22 分钟 | ⭐ 组合训练并行,再单独验推理服务


🎯 一句话

同样是 64 张卡,有的配置装得下却跑得慢,有的训练跑得快却不适合线上请求。先确定要优化的任务,再把卡分给三类工作。数据并行(DP)让多个逻辑副本处理不同数据,张量并行(TP)把层内运算切开,流水线并行(PP)把模型沿深度分成阶段。三者可以组合,候选配置要过容量、拓扑和实测三关。

数据并行普通 DP:每个副本一份模型各喂不同数据GPU0整个模型GPU1整个模型GPU2整个模型GPU3整个模型张量并行一层被【切开】分到多张卡上GPU0同一层的一片GPU1同一层的一片GPU2同一层的一片GPU3同一层的一片流水线并行不同【层】分到不同卡上GPU0第 1 段层GPU1第 2 段层GPU2第 3 段层GPU3第 4 段层同样是 4 张卡,切法完全不同通信:每步同步梯度(AllReduce)通信:通常在层内多次通信:相邻阶段传激活或梯度⭐ 实际大模型训练是三者【组合】使用 —— 张量并行放机内(带宽高),流水线/数据并行跨机
三种切法分别处理不同数据、一层的内部、层与层之间。图展示单独启用各维度时的分工。组合后一个 DP 副本可以跨多卡,实际通信要按消息字节、调用频次和路径计算。

🏛️ 一、黄金法则

把通信账对上物理拓扑

TP:层内同步较频繁,先试高速互联域
PP:相邻阶段每个微批交换边界张量,逐边检查链路
DP:跨副本同步梯度;分桶和分片策略决定实际通信

对照

一个 64 卡(8 机 × 8 卡)的教学候选:

TP=8 ← 机内 8 张卡,走 NVLink

PP=4 ← 每个副本占 4 台机器,跨机传边界张量

DP=2 ← 剩下的维度做数据并行

8 × 4 × 2 = 64 ✅

物理布局:TP=8 在机内 · PP=4 跨机 · DP=2 在最外层 PP stage 0 这两台机器是两个副本的同一阶段 TP=8 在机内 机器 0 0 1 2 3 4 5 6 7 机器 1 8 9 10 11 12 13 14 15 PP:激活传到下一级 PP stage 1 机器 2 16 17 18 19 20 21 22 23 机器 3 24 25 26 27 28 29 30 31 ⋯ 机器 4–7 同理,继续排成 PP stage 2 和 stage 3
每一列是一个 DP 副本,横着看是两个副本的对应阶段;竖着看是 PP 的相邻阶段。一台机器内部的 8 张卡是 TP 组,假设走 NVLink。8 × 4 × 2 = 64。

先把频繁且耗时的通信靠近快链路。对照第 5 章,要看实际路径、单向有效带宽和共享链路。第 12 章的逻辑张量大小还要按集合算法换成每个 rank 的发送量,不能直接套用设备的标称带宽。


🧭 二、决策流程(照着走)

先找放得下的配置,再比较跑得快的配置

  1. 模型和训练状态能否装下?按权重、梯度、优化器状态、激活和工作区列每卡峰值预算。完整副本能装下时,可先试数据并行;持久状态太大时,评估 ZeRO 或 FSDP 的分片与通信。
  2. 单层工作集仍过大时,评估 TP。确认可切的权重、激活形状和注意力头布局,再看层内同步要走哪条链路。
  3. 整个模型仍装不下或阶段划分有利时,评估 PP。按段列显存与耗时,在同一全局批量下试多组微批数和大小,测边界通信与等待。
  4. 有 MoE 专家或超长序列等特殊结构时,分别检查专家负载、注意力分片和跨卡交换,再决定是否加入 EP 或上下文并行。

先测结构简单的可行候选,例如只用 FSDP。若它达不到容量、吞吐或稳定性目标,再加并行维度,并把负载均衡、检查点和故障排查的成本一起考虑。


📐 三、怎么定各个维度的大小

TP:先选择可行的高速互联域与最小分片数

先找能容纳单层峰值工作集的分片数,再比较同一互联域和必要的跨机方案。以 第 12 章为准,可切权重通常随分片数下降,复制项、激活和通信工作区要另计。注意力头分组、隐藏维的可切性和本地矩阵形状也会约束候选。

PP:在阶段、显存与微批之间找可行点

先按模型结构选切分点,逐段检查最重的层、嵌入和输出头。P 是流水线阶段数,M 是每个流水线副本在一次更新中处理的微批数。第 13 章的训练气泡模型假设阶段等长、忽略通信、非交错且各微批等大,空闲槽占总槽的比例是 (P − 1) ÷ (M + P − 1)。例如 M ≥ 4P 可作扫描起点。它只描述这个模型里的空闲比例,配置仍要核对硬件、模型、实际通信、峰值显存与任务目标。

沿用图里的 8 台机器,每台 8 张卡。假设模型分成四段、同一精度和序列长度,固定 TP = 8、P = 4、D = 2。D 是数据并行副本数。每步全局批量为 128 条序列,每个副本处理 128 ÷ 2 = 64 条。b 是每个微批的序列数,所以 M = 64 ÷ b。按同一工作负载比较 A、B。下表的用时与显存项是教学假设。

固定 64 张卡和全局批量的微批对照
指标AB
微批大小 b8 条4 条
微批数 M816
理想气泡27.3%15.8%
单卡最高峰值68 GiB62 GiB
实际口径步时100 ms120 ms
吞吐1,280 条/秒约 1,067 条/秒

先算理想气泡。 A 的 M = 64 ÷ 8 = 8,空闲占比为 (4 − 1) ÷ (8 + 4 − 1) = 3 ÷ 11 ≈ 27.3%。B 的 M = 64 ÷ 4 = 16,空闲占比为 3 ÷ 19 ≈ 15.8%。实际阶段越不均衡,这个理想数越不能代表步时。

再算显存和边界。 假设显存最高峰出现在同一张卡,峰值时持久状态 52 GiB(含权重、梯度和优化器状态)、临时空间 4 GiB,A 与 B 的驻留激活分别占 12 与 6 GiB。相加得到 68 与 62 GiB,均低于示例预算 76 GiB。GiB 是 230 字节。再选一条对应 rank(通信进程)的跨机路径,假设 A 每个微批单向发 8 MiB,B 发 4 MiB,前向与反向的大小相同。该路径上两方向合计分别是 2 × 8 × 8 = 128 MiB 和 2 × 16 × 4 = 128 MiB(1 MiB = 220 字节)。载荷一样,发送次数是 16 对 32。整个节点的通信还要把共用链路的各个进程列进去。

最后按任务比较。 假设 A 的完整训练步耗时 0.100 秒,B 因更小的算子形状和更频繁的边界提交等因素耗时 0.120 秒。用同样的 128 条序列分别除以两者步时,得 1,280 和约 1,067 条/秒。若训练目标为至少 1,100 条/秒且不超过显存预算,选 A。B 达到 4 × 4 = 16 个微批,理想气泡更小,依然没达到吞吐目标。若预算收紧到 64 GiB,A 超过容量,B 虽放得下却还达不到吞吐目标,应继续试候选。

训练中把最慢阶段的前向、反向、传输和等待分开看。若做在线推理,先固定模型、请求长度分布和到达负载,用服务水平目标(SLO)定义成功与时限,再量首 token 时间(TTFT)、平均每输出 token 时间(TPOT)、达标率和达标吞吐。生成没有训练反向,不能沿用这里的训练气泡占比或微批起点。压测口径见第 20 章。

DP:对齐副本数和全局批量

只使用 DP、TP、PP 三个维度,且所有 GPU 都参与这一个训练任务时,总卡数 = TP × PP × DP。于是 64 张卡取 TP = 8、PP = 4,DP = 64 ÷ (8 × 4) = 2。若除不尽就换候选。带专家并行、上下文并行或其它分片组时,先核对实现的进程组关系。

💡 一个常被忽略的约束:全局 batch

同样大小的微批中,每步全局批量 = 微批大小 b × 每副本的微批数 M × 副本数 D。原因是一个副本处理 M 份,每份 b 条,D 个副本处理不同数据。上例 A 是 8 × 8 × 2 = 128 条,B 是 4 × 16 × 2 = 128 条。模型、精度、序列长度和全局批量对齐后,才比较吞吐;如果改了全局批量,还要检查收敛与优化器设置。


🧠 四、MoE 的专家并行(EP)

结果对照

MoE:每个 token 只激活少数几个专家
按路由选择专家,计算、路由与通信成本分别估算
⭐ 专家并行:把不同的专家放到不同的卡上
GPU0: 专家 1-2 GPU1: 专家 3-4
GPU2: 专家 5-6 GPU3: 专家 7-8
每个 token 经过路由后,被【All2All】发送到对应专家所在的卡
算完再 All2All 送回来
特点 说明
通信原语 All2All(第 5 章),不是 AllReduce ⭐
通信量 随路由结果、专家放置与有效载荷变化
主要难点 ⭐ 负载不均衡 —— 有的专家被路由到很多 token,有的很少
常见解法 辅助损失可鼓励均衡;是否限制容量、怎样处理溢出取决于实现

💥 负载不均衡是 MoE 训练最头疼的问题: 如果 90% 的 token 都路由到同一个专家, 那张卡就成了瓶颈,其他卡在等它 —— 整个集群的效率被一张卡拖垮。


🧵 五、序列/上下文并行(长序列时)

结果对照

问题:序列 128K 时,激活显存爆炸(即使有 FlashAttention)
✅ 上下文并行(Context Parallel / Ring Attention):
把【序列维度】切开分给多卡
attention 需要全局信息→用环形通信传递 K、V
⭐ 和 TP 正交,可以叠加

💡 当单卡激活与注意力工作集超过预算时,可评估上下文并行。 Ring Attention 的思路和 FlashAttention 一脉相承 —— 都是"分块 + 增量累积 softmax",只是一个在片上分块,一个跨卡分块。


📋 六、几组候选配置

场景 配置
7B 微调,8 卡 先评估 FSDP 与激活重算,按峰值和通信决定是否加 TP/PP
7B 预训练,64 卡 DP=64 + ZeRO-2 ⭐
70B 预训练,512 卡 TP=8, PP=8, DP=8 + 序列并行
175B+ 预训练,数千卡 TP=8, PP=16, DP=n + 交错式 1F1B
MoE(如 8×7B),64 卡 EP=8, TP=1~2, DP=剩余
长上下文(128K) 上下文并行 + TP + FSDP

表中是待测的候选。可从较少维度开始,是否加到三维取决于模型工作集、硬件拓扑与目标,不能用卡数单独判断。


🔬 七、怎么验证你的配置是对的

先过约束,再测结果,最后定位差异

  1. 固定任务、总卡数、模型、精度与训练全局批量。先排除分片不兼容、显存超预算或链路不可用的候选。
  2. 同一计时口径记录完整训练步时、有效吞吐、峰值显存、各阶段耗时和 MFU。改变 TP 或 PP 时还会改变算子形状和等待,不能把步时差全部记到通信。
  3. 用性能分析工具对照通信、计算与空闲时间线。在线服务用同一到达负载检查 TTFT、TPOT 和达标率,再比较达标吞吐。
# 🧩 骨架:`total_gpus` 来自你自己的代码,这一段只看写法
# ⭐ 一个实用的扫描脚本骨架
for tp in [1, 2, 4, 8]:
    for pp in [1, 2, 4, 8]:
        dp = total_gpus // (tp * pp)
        if dp < 1 or total_gpus % (tp * pp): continue
        if micro_bs * n_micro * dp != global_batch: continue
        run_benchmark(tp, pp, dp)      # 记录 MFU 和单步时间

上方是候选枚举骨架。需要事先提供卡数、微批参数和实测函数,并在外层传入不同的微批组合,才会比较 A、B 这样的候选。下面的独立 Python 示例只复算本章教学表,无需 GPU 或第三方库。

stages, replicas, global_batch = 4, 2, 128
budget_gib, target_rate = 76, 1100
for label, micro_batch, activation_gib, step_ms in (
    ("A", 8, 12, 100),
    ("B", 4, 6, 120),
):
    micro_batches, remainder = divmod(global_batch, replicas * micro_batch)
    assert remainder == 0
    bubble = (stages - 1) / (micro_batches + stages - 1)
    peak = 52 + activation_gib + 4
    rate = global_batch / (step_ms / 1000)
    fits = peak <= budget_gib and rate >= target_rate
    print(f"{label}: M={micro_batches}, {bubble:.1%}, "
          f"{peak} GiB, {rate:.0f} 条/秒, 达标={fits}")

divmod 同时返回商和余数,只有恰好分成等大微批时才继续。本例 A 打印 M=8, 27.3%, 68 GiB, 1280 条/秒, 达标=True,B 打印 M=16, 15.8%, 62 GiB, 1067 条/秒, 达标=False。

先用理论缩小范围,再用同一负载实测。如果配置因瓶颈落选,保留原因与观测记录,下一轮才知道要改分片、切分点还是微批。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 5 章 带宽层级 给出候选通信路径和传输成本
第 10 章–13 章 本章把它们拼起来
第 11 章 HYBRID_SHARD 决策树第二步
第 4 章 MFU 对齐条件后比较训练效率的参考
第 8 章 分块累积 Ring Attention 同源
《大模型全景导论》主线 4 · 它怎样从续写机变助手 预训练占 99% 算力 那边给的是"要烧多少算力",本章是这些算力怎么切到卡上
《强化学习基础》12 RLHF 全流程 阶段 3 的工程现实 四个模型各要一套并行配置(两个在训、两个冻结)—— 本章决策流程最难的一次实战 ⭐

✅ 检查点

  1. 黄金法则是什么?用一句话概括记忆方法。
  2. 64 卡(8 机×8 卡)的典型配置是什么?
  3. 决策流程的第一步是什么?最重要的一条建议是什么?
  4. TP 怎样按容量和通信效率选择?为什么 8 不是通用上限?
  5. 同样是 4 个阶段,为什么 16 个微批的候选 B 在训练算例里落选?做在线服务时还要看什么?
  6. 全局 batch 的约束是什么?实践中的定法?
  7. MoE 用什么通信原语?最头疼的问题是什么?
  8. 上下文并行和 FlashAttention 有什么共同点?
  9. 怎么验证配置是对的?为什么不能只凭理论?
👀 答案
  1. 先把频繁且耗时的通信靠近快链路。常先试机内 TP,再看 PP 的跨机边界和 DP 的同步路径,最终用实测确认。
  2. TP=8(机内)、PP=4(跨机)、DP=2,8×4×2 = 64。
  3. 先列权重、梯度、优化器状态、激活和工作区的峰值预算,再从满足容量和目标的简单配置开始测。
  4. 先按容量、激活与临时空间确定可行候选,再测通信和计算代价。TP=8 来自示例的机内拓扑;必要时也可评估跨机方案,按实际链路与目标效率决定。
  5. B 的理想气泡是 3 ÷ 19 ≈ 15.8%,但 128 ÷ 0.120 ≈ 1,067 条/秒,未达到 1,100 条/秒的目标。A 只用 8 个微批却达标。在线服务要另测 TTFT、TPOT、达标率与达标吞吐。
  6. 全局批量等于微批大小 × 每副本微批数 × 副本数。固定全局批量后调整其中一个量,至少还要重算另一个量,并检查内核效率、通信次数和峰值显存。
  7. All2All(不是 AllReduce)。最头疼的是负载不均衡——如果 90% 的 token 路由到同一个专家,那张卡成为瓶颈,整个集群被一张卡拖垮。解法:辅助损失、容量因子。
  8. 都是分块 + 增量累积 softmax——FlashAttention 在片上分块,Ring Attention 跨卡分块。
  9. 固定负载测训练步时、吞吐、峰值显存和同口径 MFU,再用时间线区分计算、通信和等待。配置变化也会改算子形状,步时差只是整体差异。服务要按实际请求负载比较达标指标。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 15-推理和训练是两回事.md ⭐

条件与依据

配置表与微批对照均用于教学。训练气泡模型适用于等长阶段、忽略通信的非交错训练场景;实际测量要对齐卡数、批量、模型与精度,并记录各阶段计算与通信。

原论文

打卡记录保存在你的浏览器里,首页能看到总进度