🏠 总目录📚 本教程 互联与拓扑 ← →

AI基础设施 · 05

卡数一样,为什么换一种连接就跑不动了?

层内、机内和跨机的通信频率并不相同。选择并行方式前,先核对有效带宽、延迟和实际连接路径。

读完能判断:把拓扑、有效带宽、延迟与集合通信量一起用于并行判断。

📑 本页目录(点开跳转)

05 · 互联与集群拓扑

⏱ 主线约 33 分钟(不含选读,估计) | ⭐ 画路径,算通信,再放任务


🎯 一句话

同一个训练任务,卡数没变,把两个经常交换数据的计算进程拆到两台服务器后,一步却可能更慢。沿用第 03 章的搬运账,本章从一份消息出发,先画出它经过的路径,再算启动与搬运分别占多久,最后决定哪一组通信应留在机内。


🔌 一、四个层级的带宽

先区分拓扑(Topology)和带宽。拓扑回答「设备怎么连,两个端点经过哪里」,带宽回答「某段路径每秒能搬多少数据」。如果两条消息共用一段上行,它们争用的是同一份容量。

四类路径的规格示例。单位 GB/s,均非应用实测。
路径示例怎么看
卡内 HBMH100 SXM
3,350
GPU 访问本卡显存
NVLinkH100 SXM
900
每卡多链路双向合计
PCIeGen4 / Gen5 x16
约 31.51 / 63.02
单方向,扣编码
跨机网络200 / 400 Gb/s 端口
25 / 50
单端口单向线速换算

先对齐方向、对象和单位。 H100 SXM 的第四代 NVLink 每条链路双向合计 50 GB/s,18 条合计 18 × 50 = 900 GB/s。以对称的发送和接收能力拆分,单方向是每条 25 GB/s、每卡聚合 18 × 25 = 450 GB/s。它仍是整张卡可用链路的规格总和;某对卡能走几条、是否和其他流共享,要按拓扑查。

再把 bit 换成字节。 小写 b 是 bit,大写 B 是 byte,1 字节 = 8 bit。按十进制,400 Gb/s ÷ 8 = 50 GB/s,即每秒 500 亿字节。网络可用 InfiniBand 或以太网。端口速率不能只从协议名称判断,应用可用的有效带宽还要扣协议、调度与争用。机内交换和跨机交换也不是固定的倍数关系。

规格依据 H100 数据表、Hopper NVLink 规格、DGX H100/H200 网卡规格。下图继续拆解 PCIe 的单方向速率与共享路径。

读拓扑前,先看实际路径 · 一张图,一个小例

插得进 x16,不等于跑在 x16

机械长度、电气 lane 数、实际协商代际/宽度、共享上行,是四条不同记录。先沿平台手册查走线与共享条件,再读运行时链路状态;卡和插槽的最大能力不能替代本次协商结果。

CPU/系统内存 · 根复合体

↓ CPU 根端口 · 独立分支

设备 C:CPU 直连不经过右侧共享上行;仍须核对本链路宽度、代际与并发约束。

↓ 另一根端口

共同上行:假设 Gen3 x4两设备向主机同方向搬运,合计争用这一段。

↕ PCIe 交换机

设备 A下行 Gen3 x4
设备 B下行 Gen3 x4
示意图只比较路径,不代表某台服务器。芯片组下的设备也可能共享回 CPU 的上行;其协议与容量应查具体平台。交换机不会凭空增加上行容量;A↔B 若能在交换机内 P2P 转发,则不一定经过图中的共同上行。

小例:只算单方向、十进制 GB/s。在 Gen3 的 8 GT/s、128b/130b 编码与 x4 条件下:8 × 128/130 × 4 ÷ 8 ≈ 3.938 GB/s。Gen4 x8 对照为 16 × 128/130 × 8 ÷ 8 ≈ 15.754 GB/s,编码后上限为前者 4 倍。

图中 A、B 若都想以 3 GB/s 向主机发送,需求合计 6 GB/s,已超过共同上行的 3.938 GB/s;两条下行不能相加成主机可用的 7.877 GB/s。如何分配不保证各一半。

这里尚未扣包头、管理、重传与软件开销,不是 NCCL 或应用实测。此 128/130 算式仅用于本例 Gen3/Gen4,不外推 Gen6 的调制、FLIT 与纠错规则。

可选:把四条记录接回并行策略

机械 x16 槽可以只接电气 x4;实际协商也可能低于双方最大能力。记录 CPU 直连/芯片组/交换机路径,以及共享上行后,再用下文拓扑表和 NCCL 测量确认通信代价。

PCIe 不等于 TP 不可用。NCCL 支持 PCIe。TP 的层内同步成本随模型实现、batch/消息量、有效带宽与路径延迟变化;PP 常减少层内集合通信,但还需比较切分平衡与流水线气泡。vLLM 在无 NVLink 的推理配置中建议优先考虑 PP,这是该引擎的策略,不能外推所有训练。两者也可跨机,最终比较相同模型和负载下的吞吐与延迟。

回到本章:拓扑与 NCCL 实测步骤 →

依据(2026-10-25 核对):MSI B550-A PRO 手册 pp.17、29:插槽来源与电气宽度示例;PCI-SIG Gen3 FAQ:编码、方向与共同能力;PCI-SIG 2024 规格演进 p.4:Gen4 16 GT/s、128b/130b;NCCL 支持的互联;vLLM 并行策略。数字与图均为教学假设,未运行 GPU/多卡测试。

💡 为什么延迟也重要

只发一个很短的张量,也得先发起操作、让传输进入路径并等它完成。可以用两个量估算一条串行点对点消息。设 t 是消息用时,α 是一次操作的近似固定开销(秒),S 是有效载荷(字节),B 是大消息条件下估得的有效带宽(字节/秒)。因为搬运时间等于字节数除以每秒速率,所以 t ≈ α + S ÷ B。每个加项都要换成同一单位。

教学假设。机内 2 μs / 200 GB/s,跨机 10 μs / 25 GB/s
载荷机内跨机
1 kB2.005 μs10.04 μs
1 MB7 μs50 μs

沿用十进制,1 kB = 1,000 字节,1 MB = 1,000,000 字节。1 μs 是百万分之一秒。200 GB/s = 200,000 字节/μs,25 GB/s = 25,000 字节/μs。

  1. 小消息。机内 2 + 1,000 ÷ 200,000 = 2.005 μs,跨机 10 + 1,000 ÷ 25,000 = 10.04 μs。两条路径都主要在等启动。
  2. 大消息。机内 2 + 1,000,000 ÷ 200,000 = 7 μs,跨机 10 + 1,000,000 ÷ 25,000 = 50 μs。载荷增大后,搬运所占时间更显眼。

这个模型固定了路径、方向和传输模式,未计入并发、拥塞、包大小变化和计算重叠;数字是演示输入。真实场景可在相同路径上测多档消息长度,小消息观察近似固定开销,大消息估有效带宽。集合通信还要计入各轮与每条链路上的数据量。


NVSwitch 全互联:8 张卡通过交换网络互联(逻辑示意) GPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 NVSwitch ← 卡对经交换域互通 带宽随路径与并发变化 每条线都是 NVLink 八卡也可能只通过 PCIe 连接,需核对具体机器
读图时从一张卡沿 NVLink 到交换域,再到另一张卡。方框是逻辑简化;物理交换芯片数量和实际路径随平台变化。

⚠️ 一个必须自己确认的事: 不是所有"8 卡机器"都有 NVSwitch。 很多云厂商的便宜实例是 8 卡挂在 PCIe 上, TP 的层内通信可能成为瓶颈,但不能只凭 PCIe 就判定不可用;需按模型实现、负载、batch/消息量及路径延迟比较 TP 与 PP。开机第一件事是查拓扑。

nvidia-smi topo -m
读拓扑矩阵:一行和一列相交处写的是路径类型
标记含义
NV8路径经过一组绑定的 8 条 NVLink,交换域内也可能出现。
PIX / PXB经过单个或多个 PCIe 交换机,不经过 PCIe 主桥。
PHB / NODE前者经过 PCIe 主桥,后者还经过同一 NUMA 节点内的主桥间互联。
SYS经过 PCIe 和跨 NUMA 节点的处理器互联。NUMA 表示到不同内存或设备路径的代价可能不同。

这些标签给出查找范围。要知道某对端点实际跑多快,还需结合访问方向、同用链路的流量、是否支持 GPU 对等访问及同规模实测。nvidia-smi 拓扑文档


📡 三、跨机通信:RDMA 是关键

两台机器怎样交换一份 GPU 数据

用主机缓冲中转的典型路径
GPU 显存 → 本机内存 → 网卡 → 网络 → 远端网卡 → 远端内存 → 远端 GPU
两端支持 GPUDirect RDMA 时
GPU 显存 → 本机网卡 → 网络 → 远端网卡 → 远端 GPU 显存

远程直接内存访问(Remote Direct Memory Access,RDMA)让网卡在通信建立并登记缓冲区之后,直接读写允许访问的远端内存。普通 RDMA 的目标也可以是主机内存。NVIDIA 的 GPUDirect RDMA 让兼容的网卡通过 PCIe 直接访问 GPU 缓冲区,省掉载荷经主机内存中转的拷贝;连接建立、内存登记与调度仍有开销,也需要驱动、设备与实际 PCIe 路径支持。GPUDirect RDMA 文档

把网络类型和 GPU 访问方式分开看
术语负责哪一段
InfiniBand支持 RDMA 的网络。
RoCE在以太网上使用 RDMA。按网卡与交换机方案配置流量和拥塞控制。
GPUDirect RDMA网卡如何访问 GPU 内存,可与兼容的 InfiniBand 或 RoCE 配合。

路径还有机器外的一段。两台主机在同一个叶交换机(Leaf)下,流量可能在叶内转发;跨叶常经脊交换机(Spine)。两块 GPU 如果同时向同一 400 Gb/s 端口各要求 30 GB/s,同一方向总需求为 30 + 30 = 60 GB/s,已超过端口的 50 GB/s 标称值。即使机内路径更快,也不能把共享端口当成两份 50 GB/s。多个端口能否共同承载,还要看进程到网卡的映射和交换上行。叶脊网络示例

如果并发增大时才出现慢和超时,先把受影响的消息、链路和交换队列对应起来。使用优先级流控(PFC)的 RoCE 部署可查暂停计数,也可结合明确拥塞通知(ECN)、丢包与重传指标。单个计数器或一次挂起不足以定位原因。


🔄 四、集合通信原语(后面天天见)

原语 做什么 用在哪
AllReduce 所有卡的数据求和,结果发回所有卡 数据并行同步梯度 ⭐
ReduceScatter 求和后每卡只拿一部分 ZeRO / FSDP
AllGather 每卡的一部分拼成完整的发给所有卡 ZeRO 取回参数
Broadcast 一张卡发给所有卡 初始化
All2All 每卡给每卡发不同的数据 MoE 专家并行 ⭐
P2P Send/Recv 点对点 流水线并行

先把相同位置的数加起来,再决定结果放在哪儿。ReduceScatter 让每个参与进程(rank)只留下自己负责的一段和。紧接着 AllGather 把所有段拼回给每个 rank,得到求和型 AllReduce 的结果。它描述的是两步得到的结果,并不规定所有实现都走相同路径。NCCL 集合通信定义

ZeRO-2 也利用分片。把它和数据并行比较时,要先对齐每步同步次数、数据类型及逻辑通信量,再看实际运行时间。

⭐ Ring AllReduce:数据分到各卡,轮次依然要等

有 8 张卡各持有 1 GB 梯度。如果都发到 0 号卡求和,再由 0 号发回,它要接收 7 × 1 = 7 GB,再发 7 GB,容易集中在同一张卡上。环形算法把通信摊到每个参与者。

逻辑环上每轮只和邻居交换一段

先分块:每张卡的输入切成等长的 N 段
ReduceScatter:N − 1 轮,每张卡留下一个归约后的段
AllGather:再用 N − 1 轮,传齐所有已归约的段

设 N 是参与的卡数(至少 2 张),S 是每张卡的输入字节数。每轮发送 S ÷ N 字节,两个阶段共 2 × (N − 1) 轮,因此每卡发送 2 × (N − 1) ÷ N × S 字节,接收同样多。上例每段 1 ÷ 8 = 0.125 GB,14 轮合计每卡发 14 × 0.125 = 1.75 GB。

卡数增加时,每卡发送量趋近于 2 × S,但每个阶段需要的轮数随卡数增长。即使逻辑上每卡同轮发数据,多个流仍可能争用同一物理链路。分层方案可以先在机内归约,把分片交给各节点之间继续归约,再在机内拼齐;跨机省多少取决于分组、分片与网卡映射。环上的分块和数值过程见第 10 章。


🧮 五、通信量估算:决定并行策略的那个数

放置前先列通信账:这条消息装多少字节、每一步发多少次、经过哪些共享段。以下是三个简化场景,前后向和实现不同,需重列消息。

用前面的机内和跨机用时,试两种放法

假设一轮有两组独立通信,其中一组只能跨机。一组串行发 10 条 1 kB,另一组发 1 条 1 MB。下面假设通信不重叠,其他工作都相同。

小消息放机内:10 × 2.005 + 50 = 70.05 μs。

大消息放机内:10 × 10.04 + 7 = 107.4 μs。

这组数字下优先让频繁交换的一组留在机内。把小消息次数改成 1,两个方案分别为 52.005 和 17.04 μs,结论反过来。实际划分还得核对吞吐、计算、等待与通信重叠。

下列 Python 只复算教学模型。message_us 接收启动时间、有效带宽和载荷字节数,把 GB/s 转成字节/μs 后返回一次用时。最后按消息次数求和;运行输出依次是 70.050、107.400 μs。

def message_us(startup_us, bandwidth_gb_s, payload_bytes):
    bytes_per_us = bandwidth_gb_s * 1_000
    return startup_us + payload_bytes / bytes_per_us

local_small = message_us(2, 200, 1_000)
remote_small = message_us(10, 25, 1_000)
local_large = message_us(2, 200, 1_000_000)
remote_large = message_us(10, 25, 1_000_000)

small_count = 10
print(f"小消息放机内:{small_count * local_small + remote_large:.3f} μs")
print(f"大消息放机内:{small_count * remote_small + local_large:.3f} μs")

⭐ 先给第 14 章一个常见放置起点:

   张量并行 → 放在【机器内部】(NVLink)
   流水线并行 → 跨【机器】
   数据并行 → 最外层

这是按通信频率与带宽得到的起点;仍需按模型实现、batch/消息量、路径延迟与流水线气泡实测比较。


🧪 六、上手先做的三件事

# ① 看拓扑
nvidia-smi topo -m

# ② 实测卡间带宽(NCCL 官方测试工具)
./build/all_reduce_perf -b 8 -e 4G -f 2 -g 8
#   看 busbw 那一列,和理论值对比

# ③ 看有没有 GPUDirect RDMA
nvidia-smi topo -m | grep -i mlx      # 网卡和 GPU 的亲和性
ibstat                                 # InfiniBand 状态

先用拓扑确认 GPU、网卡与共享段,再用相同 rank 数和消息大小实测。all_reduce_perf 的 -g 8 是每个测试线程用 8 张 GPU;上面的单机调用不代表已测跨机。对小消息先看用时,对大消息再看 algbw 与 busbw。前者用每 rank 的逻辑数据大小除以耗时,后者按集合操作归一化,均不是硬件计数器读出的字节。NCCL Tests 口径

若日志显示 Socket/IP 选错接口,核对 NCCL_SOCKET_IFNAME;若走 IB/RoCE,查 NCCL_IB_HCA 对应的 RDMA 设备选择。拓扑和 ibstat 可帮助核对候选路径与端口状态,不能单凭它们确认本次已启用 GPUDirect。还要核对 NUMA 亲和性、GPU 与网卡的 PCIe 路径,以及是否退回主机缓冲。

export NCCL_DEBUG=INFO       # ⭐ 启动时打印它实际选了哪条路径

NCCL_DEBUG=INFO 可提供初始化、网络与拓扑线索。具体输出随版本和子系统而变;把日志与拓扑、消息大小和测速对照,再决定要查哪一段。NCCL 环境变量说明


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 内存层次 本章是它"出卡之后"的部分
第 2 章 4090 只有 PCIe 需按 PCIe 路径与负载比较 TP/PP ⭐
第 10 章 Ring AllReduce 的详细展开
第 14 章 本章的通信量估算是它的依据 ⭐
《Kaggle竞赛方法论》04 超参数调优与工程实践 分布式训练选型表 把其中的训练选型与通信消息、显存和实际连接路径一起核对。
《强化学习基础》12 RLHF 全流程 PPO 要同时装四个模型 模型分到不同设备时,先查实际数据依赖,再按消息大小和频率核对放置。

✅ 检查点

  1. 单端口标称 400 Gb/s 是多少 GB/s?能直接和 900 GB/s 的 NVLink 规格比较吗?
  2. 跨机参数仍用 10 μs、25 GB/s。若消息改成 500 kB,启动和搬运分别多久?
  3. NVSwitch 解决什么问题?为什么八卡机器要先确认实际拓扑?
  4. 怎么查拓扑?SYS 和 NV8 分别代表什么?
  5. 普通 RDMA 与 GPUDirect RDMA 的区别在哪段路径?
  6. AllReduce 怎样拆成两步?每步的结果放哪?
  7. 8 卡环上每卡输入 1 GB,要发多少?卡数变多时,轮数怎样变化?
  8. 为什么频繁同步的 TP 常先试机内?只比较 TP 与 PP 的字节总数够吗?
  9. 拓扑命令、NCCL 日志和测速分别提供什么证据?
👀 答案
  1. 400 ÷ 8 = 50 GB/s,是单端口单方向线速的换算。900 GB/s 是特定 H100 SXM 的每卡多链路双向合计,方向和对象要先对齐。
  2. 启动 10 μs,搬运 500,000 ÷ 25,000 = 20 μs,总计约 30 μs。相同路径下,载荷增大后搬运项会更突出。
  3. 它让接入交换域的 GPU 可以经交换网络互通;八卡也可能只接 PCIe,链路还可能共享。
  4. 用 nvidia-smi topo -m。NV8 经过一组绑定的 8 条 NVLink;SYS 经过 PCIe 和跨 NUMA 节点的处理器互联。两者都是路径标签。
  5. 普通 RDMA 可访问远端主机内存。GPUDirect RDMA 让兼容的网卡直接访问 GPU 缓冲区,省掉这段主机内存中转。
  6. ReduceScatter 给每卡一段归约结果;AllGather 把所有段拼回给每卡。
  7. 2 × (8 − 1) ÷ 8 × 1 = 1.75 GB 发送,接收也为 1.75 GB。轮数为 2 × (N − 1),随卡数 N 增大。
  8. 层内调用频繁时,启动等待可能叠加。还要核对消息大小、实际路径、计算与通信重叠,以及 PP 的切分和空等。
  9. 拓扑给候选路径,日志给库实际选择的线索,测速给特定消息大小和负载下的运行数据。三者需要结合。

本节回顾

⚡ 走神救援

下一节 👉 06-混合精度.md

条件与依据

NVLink 公布的每 GPU 双向聚合带宽,不等于任意一对卡可用的单向吞吐。RDMA 可访问远端内存,GPU 直通还需 GPUDirect RDMA、驱动与拓扑支持。AllReduce=ReduceScatter+AllGather 是求和结果的分解;ZeRO-2 在等精度、理想调度下通信字节数可与 DDP 相当,运行时间并非因此相等。

官方文档;官方文档

打卡记录保存在你的浏览器里,首页能看到总进度