AI基础设施 · 22
GPU 在等数据时,该先加 worker 还是先看文件路径?
等待可能来自读取、元数据、解码、分片、打包或 token 准备。增加 worker 前,先把每步消耗、平均供给和尾部等待记进同一本账。
读完能做到:算出数据管线必须达到的供给率,选择匹配访问形状的存储格式,并让中断恢复后仍然知道下一条该读谁。
📑 本页目录(点开跳转)
22 · 数据管线与存储
⏱ 主线约 31 分钟(不含选读,估计) | 🎁 最容易被忽略的瓶颈
🎯 一句话
你花了几个月优化模型和并行策略,结果 GPU 仍会周期性地等下一批数据。 第 4 章那个"把 dataloader 换成随机张量"的实验之所以排第一位, 就是因为数据等待很容易被误诊成"模型慢"。但随机张量只负责隔离候选原因,不能单独证明具体堵在磁盘、网络、解码还是组 batch。
🚨 一、五分钟确诊
# 🧩 骨架:`vocab` 来自你自己的代码,这一段只看写法
# ⭐ 实验一:拿掉数据管线
import time
import torch
fake = torch.randint(0, vocab, (B, S), device='cuda')
for _ in range(50):
train_step(fake) # 固定张量,完全没有数据加载
# → 若 step 明显缩短,把输入路径列为候选;继续分段计时,不能唯一归因
# ⭐ 实验二:只跑 dataloader,不训练
t0 = time.time()
seen_samples = 0
batch_count = 0
for i, batch in enumerate(loader):
first = next(iter(batch.values())) if isinstance(batch, dict) else (batch[0] if isinstance(batch, (tuple, list)) else batch)
seen_samples += len(first) # 尾批可能小于配置的 B,按实际样本数累计
batch_count += 1
if batch_count >= 100: break
elapsed = time.time() - t0
print(f"{batch_count} batches, 数据管线吞吐 {seen_samples / elapsed:.0f} samples/s")
# → 和训练需要的速度对比
先隔离,再量化
固定 GPU 张量明显缩短 step:输入路径是有力候选;它同时移除了读取、CPU 变换、组批、H2D 和形状波动,不能直接锁定其中一项。
平均供给率高于平均消耗率仍不够:尾延迟、缓冲深度和偶发重试可能造成断粮;CPU 同步、进程调度和其他等待也可能制造相似空隙。
💡 profiler 里的信号(第 4 章): GPU 时间轴在 step 边界出现有规律空隙是输入路径等待的候选信号,不是唯一诊断。还要把 loader wait、H2D、CPU 同步/调度、collective 和 step time 放到同一时间线排除。
📐 把“喂得够不够”写成同一本吞吐账
先只看单个 rank。设本地 batch 大小为 b(样本/step),纯训练计算时间为 t_step(秒/step),那么这个 rank 的平均消耗率是:
$$R_{need}=\frac{b}{t_{step}}$$
R_need 的单位是样本/秒。它来自“每一步要吃 b 个样本,每一步只有 t_step 秒准备下一批”。若有 N 个数据并行 rank,且每个 rank 都用同样的 b,全局平均消耗率才是 N × R_need;不能把全局吞吐直接和单 rank loader 相比。
完整代入:8 个 rank,每个 rank 每步 32 个样本,纯计算一步 0.40 秒。单 rank 需要 32 ÷ 0.40 = 80 样本/秒,全局需要 8 × 80 = 640 样本/秒。若单 rank loader 的长期平均供给是 100 样本/秒,平均余量为 100 ÷ 80 = 1.25 倍;这只是平均账,不是“必不等待”的证明。
| 同一 rank 的观测 | 数值 | 能说明什么 |
|---|---|---|
| 平均 batch 准备时间 | 0.32 秒 | 平均快于 0.40 秒计算窗,有机会被预取隐藏 |
| P95 batch 准备时间 | 0.55 秒 | 说明分布尾部的某个位置高于 0.40 秒;不同分位数定义下不能据此推出精确超窗比例 |
prep_time > 0.40 的实测比例 | 另行统计 | 直接回答有多少观测超过一层计算窗;仍不等于每次都造成 GPU 等待 |
| 预取队列最低深度 | 0 | 队列曾为空,是供给不足候选;消费者也可能同时被同步、调度或其他阶段阻塞 |
这里的 P95 是把 batch 准备耗时从小到大排列后,第 95 百分位附近的值;它不等于每 20 步必卡一次,也不能替代超阈值计数。要回答“多少批次超过 0.40 秒”,应直接计算 sum(prep_time > 0.40) ÷ n,其中 n 是观测批次数。判断是否拖慢训练,还要把 loader wait、H2D、CPU 同步/调度、GPU 空隙、collective 与 step time 按同一时间窗对齐,再一次只改一个变量。
🔧 二、DataLoader 的六个参数
# 🧩 骨架:`DataLoader` 来自你自己的代码,这一段只看写法
loader = DataLoader(
dataset,
batch_size=32,
num_workers=8, # 演示值:用逐步压测选择,不存在通用公式
pin_memory=True, # ⭐ 准备锁页批次,供跨流 H2D 重叠
prefetch_factor=4, # 每个 worker 预取几个 batch
persistent_workers=True,# 多 epoch 时可避免反复启动;仍需衡量常驻内存
drop_last=True, # 这是样本语义选择:会丢尾批,必须记录
)
| 参数 | 常见错误 |
|---|---|
num_workers=0 |
数据读取与变换在主进程执行,复杂管线可能阻塞;小数据或调试场景不一定更慢 |
num_workers 太大 |
内存爆、CPU 争抢,反而更慢 |
pin_memory=False |
不满足下述 pinned 源的 H2D/计算重叠模式;不等于 non_blocking 完全无效 |
persistent_workers=False |
每个 epoch 会重建 worker;开销是否重要取决于 epoch 长度和初始化成本 |
⭐ 让 H2D 拷贝也重叠起来
先看交接,再按需读预取代码
返回了、复制完了、用完了:是三个时点
non_blocking=True 尝试让转换相对 CPU 异步返回;不等于 GPU 已拿到数据,也不保证复制与计算重叠。官方 Tensor.to 说明此行为可涉及 pinned 和 pageable 内存,不能写成“没有 pin 就完全不生效”。
- 提交/CPU 返回
复制流开始 H2D,或仍在等待执行。
CPU 源:保留内容及存储,不改写、不回收给下一批覆盖;只读且无并发写入可继续。
GPU 目标:其他流还不能直接消费。
- 复制完成
在复制之后记录的 event 已完成。
CPU 源:本次复制不再读取它;无其他使用时才可改写/释放/复用。
GPU 目标:消费流先等待复制,随后可读;消费期间不能覆盖。
- 消费结束
最后使用目标张量的 GPU 工作完成。
GPU 目标:确认所有使用结束,才能手动覆盖/复用。
分配器:跨流使用需
record_stream或显式管理寿命,避免释放后过早再分配。
交接小题:复制流记下 copied event,消费流已经 wait_stream(copy_stream)。CPU 此时能把 pinned 源张量清零吗?
核对:CPU 等待与 GPU 流等待不同
不能仅凭 wait_stream 返回就清零:它安排消费流后续工作等待,不阻塞 CPU 直到复制完成。CPU 应先确认复制之后的 copied.query() 为真,或 copied.synchronize() 返回。该 event 只证明它捕获的复制已完成;不证明之后的 GPU 消费结束。
可选:重叠、顺序与寿命分别由谁保证?
本章的 CUDA H2D 重叠模式需要 pinned 源内存、独立复制流和可用的 DMA 引擎,还要有可并行的工作与足够缓冲;同一流里的复制和计算仍按顺序执行。DataLoader 的 pin_memory=True 可准备 pinned 批次;不要每批临时调用 pin_memory() 就承诺更快。
wait_stream 解决 GPU 工作的先后依赖;record_stream 告诉缓存分配器目标张量在哪个流使用,防止存储过早再分配。它不等待复制,也不阻止你手动 copy_ 覆盖仍被消费的数据。若改用额外消费流,必须为它另行安排等待与寿命。
H2D 的经验不能直接套到 D2H:异步复制回 CPU 后,CPU 读取目标也要先确认复制完成。本图只解释 PyTorch/CUDA 交接,不把 Linux 驱动映射 API 当作 PyTorch 接口。
依据:PyTorch 2.14 Tensor.to、CUDA streams、record_stream、Event与pinned/non_blocking 教程(2026-10-25 核对;教程页面更新于 2026-04-01)。本页为机制说明及教学骨架,未执行 CUDA/训练实测。
下面只演示单 GPU、同一消费流、字典内全为 CPU pinned 张量的交接。loader 不得在交还批次后自行覆盖源存储;调用方在当前流提交训练,不转交额外流。为便于看清寿命,代码在交接时用 event 等待本批复制,保留源直到这时,再预取下一批;这会阻塞 CPU,不是无等待的最高吞吐实现。提前退出须调用 close(),所以示例用 with 收尾。
可选:保守的预取交接骨架(未执行 CUDA)
完整读代码与核对交接需要额外时间;也可以先继续下一节。这个骨架不处理嵌套批次或额外消费流。
# 🧩 教学骨架:loader、train_step 来自你的代码;未实跑 CUDA
import torch
class Prefetcher:
def __init__(self, loader):
self.it, self.stream = iter(loader), torch.cuda.Stream()
self.host = self.next = self.copied = None
self._preload()
def _preload(self):
try:
self.host = next(self.it) # 保留 CPU 源,不能被生产者覆盖
except StopIteration:
self.host = self.next = None
return
with torch.cuda.stream(self.stream):
self.next = {k: v.cuda(non_blocking=True)
for k, v in self.host.items()}
self.copied = self.stream.record_event() # 在本批复制之后
def __iter__(self):
return self
def __next__(self):
if self.next is None:
raise StopIteration
consumer = torch.cuda.current_stream()
consumer.wait_stream(self.stream) # 只安排 GPU 依赖,CPU 不等
batch = self.next
for v in batch.values():
v.record_stream(consumer) # 目标存储在消费流上的寿命
self.copied.synchronize() # CPU 确认复制完成,才可释放源
self.host = None
self._preload() # 下一批复制可与返回后本批的计算重叠
return batch
def close(self):
self.stream.synchronize() # 提前退出也等在途复制,才放开源
self.host = self.next = None
def __enter__(self):
return self
def __exit__(self, *exc):
self.close()
with Prefetcher(loader) as batches:
for batch in batches:
train_step(batch) # 在当前消费流提交;不手动覆盖在用张量
核对搬运交接时,区分提交、复制与消费三个时点。
📦 三、存储格式:小文件是灾难
先分清在等什么:训练读文件既有查路径/元数据的成本,也有搬数据、解码和转成张量的成本。打包可减少重复小文件操作,memmap 可按需访问大数组;它们都不能让存储访问变成零开销。先按这个顺序定位,再选格式即可。
| 访问形状 | 优先考虑 | 必须验证的边界 |
|---|---|---|
| 大量图像/音频样本,主要顺序流式读 | 带索引的分片容器或 tar 类分片 | 分片大小、失败重试、样本边界、随机性和对象存储请求数 |
| 表格/文本只读少数列并做过滤 | Parquet / Arrow 等列式格式 | 列裁剪、row group 大小、压缩与解码 CPU |
| 已经 tokenize 的定长整数数组 | 版本固定的二进制数组 + memmap | dtype、字节序、offset、shape、冷/暖页缓存和随机访问 |
| 频繁随机读取单条小对象 | 索引数据库、合并存储或本地缓存 | 读取尾延迟、缓存命中、并发一致性和淘汰策略 |
这张表不是格式排名。格式只把某类访问变得更顺手;最终仍要用相同样本、相同 worker、相同缓存状态测路径/元数据、内容读取、解压/解码、组 batch 四段时间。
深入:从文件路径走到 token 切片(可跳过)
- 文件系统做什么:用目录/文件名组织数据,记录大小、权限等元数据,管理文件内容的存放与访问,并按相应语义处理持久化。Linux VFS 把路径查找及文件操作接到具体文件系统;路径/元数据命中缓存与否会改变成本,不是每次切片都要重新打开文件。
- mmap 做什么:把文件的一段关联到进程虚拟地址范围,之后用普通内存访问读取。在 Linux 常规文件映射中,首次访问可能建立页映射或触发缺页取数;数据已在页缓存中时可不必再读设备。映射整个大文件不等于立刻把它全部读进 RAM,也不保证随机访问快。
- 切片手算:假设原始 token 文件从字节 0 开始,每个元素是写入/读取端一致的 uint16、字节序也一致。tokens[100:104] 对应 4 个元素、8 字节,字节范围为 200–207。只有相关内容可用后才能读出值;这个下标例不能证明没有 I/O。
- 使用边界:原代码 mode="r" 只读已有文件;dtype、字节序、offset 和形状须与生成端一致。uint16 只能表示 0–65535,较大 token ID 要换匹配格式。映射期间避免其他进程截断/替换正在使用的数据;越过文件末尾等访问可失败,Linux 某些情况会触发 SIGBUS。
- 写模式不能混用:NumPy 的 r+ 可写已有文件,w+ 会创建/覆盖,c 的更改不保存到文件。flush 不是多写者同步协议,也不能单凭调用它就声称已满足断电持久化要求;本章训练读取优先使用版本固定的只读数据。
小文件优化先测形状:固定样本/字节数、worker 数、存储和训练配置,对比小文件随机读与分片顺序读;分别记录路径/打开耗时、读取尾延迟、解码时间、供给吞吐和训练等待。冷缓存与暖缓存分开标注,不能拿缓存命中对比设备冷读。
若元数据耗时突出,可打包/复用已打开文件;若读取请求太碎,可增大顺序块和合理预取;若解码占满 CPU,先处理解码。worker/预取并发要逐步调整,过高也可能争抢存储、网络和内存。这些是定位候选,没有固定最优 worker 数或保证提速。
依据:Linux VFS、页缓存与内存概念、Linux mmap 的映射/错误边界、NumPy memmap 模式与布局。以上仅机制说明和下标手算,未运行存储或规模训练实验。
读得快,还要看分片怎样生成:读、查元数据和写入可能卡在不同环节。预读、复用打开的文件、合批写与增加并发都有代价;写侧比较还要保持相同的持久化承诺。生成训练分片时可选读下面的对照,主线也可继续看原有格式。
深入:文件性能的读、元数据与写取舍(可跳过)
- 读侧:顺序消费分片时,合并零碎读、合理预读可减少等待。随机跳读或只用少量内容时,过度预读会多读无用数据、挤占缓存/带宽;不应只把预读窗口调大。
- 元数据侧:反复 path/open/stat 或海量小文件成为瓶颈时,可打包、复用已打开文件。句柄/元数据缓存占资源,打包也可能增加随机定位、解包成本;目录命名操作、空间分配/extent 布局须按具体 FS/设备验证,不在此展开实现算法。
- 写侧:预处理生成分片时,缓冲和合批可摊薄调用/小写开销;批次更大也会增加等待、占用内存,并可能扩大尚未确认持久化的数据窗口。可重算的临时数据与已承诺可恢复的产物,应采用各自的完成标准。
- 并发与队列:适度并发能重叠 I/O;超过 CPU、内存、句柄、设备或网络服务能力后,排队与 p95 可能变差。逐步设并发/队列上限并测量,不能把 worker 越多或队列越深当通用优化。
写快返回,可能只到了缓冲:Linux 缓冲写会产生脏页,由后台回写;脏数据积压时,写进程也可能参与回写或等待。因此只看短时 write 吞吐,会把延后支付的 I/O 成本藏起来;未经约定同步确认的数据还存在崩溃窗口。
先定 durability,再定 sync 频率:每条、每批或每个分片同步,会改变延迟及可丢失窗口;不能把关闭 fsync/flush 当无代价提速。Linux fsync(fd) 同步文件数据/元数据并等待设备报告完成,须检查错误;新建/重命名后的目录项持久化还要核对目录同步。它不自动提供多文件事务或所有故障模型下的保证。
映射写也要分清调用:文件 MAP_SHARED 的更改可回写,MAP_PRIVATE 的私有修改不写回原文件;msync(MS_SYNC) 请求映射范围回写并等待,不是多写者同步协议。库的 flush、文件同步与目录同步不能只凭名字互换;原来的只读 memmap 路径保持不变。
对比计划,尚未执行:
- 固定样本与有效字节数、内核/FS/挂载和设备条件,格式额外字节另记;冷/暖缓存分组。每次只改访问形状、打包、批次或并发之一,标明统计区间。
- 记录元数据操作数/秒,path/open、读、写及 sync 各自的 p95、有效吞吐、CPU 与 I/O 等待、队列和内存。写侧计时须包含约定同步与待完成工作,区分提交速率和已确认持久化速率。
- 先写明同步策略、可接受丢失窗口、错误处理与确认规则,再在隔离副本验证同步失败/进程崩溃后的样本数、校验和及目录可见性。进程崩溃不等于断电测试;两者不能互相代签,也不在真实训练数据上试故障。
自测:B 批 write 已返回但约定的 sync 尚未成功,可以仅凭它返回快就把 B 计为已承诺持久化吗?不可以,性能比较与故障检查都须沿同一完成标准。
依据版本:Linux 6.12 文档集的 VFS 路径查找与回写、readahead、脏页/后台回写边界;Linux man-pages 6.19 的 fsync、mmap、msync。以上为机制与验证计划,未运行本机文件系统、故障或训练实验。
关键信息
- 大量小文件会放大路径、打开和元数据请求;是不是主瓶颈要用分段计时确认
- 打包能减少请求数,但会引入分片索引、失败重试和局部随机读取问题
- WebDataset/tar 类分片适合顺序流式样本;Parquet/Arrow 擅长列裁剪;两者不是互相替代的“最佳格式”
- TFRecord/MDS 等记录格式便于顺序读取;是否适合取决于工具链和访问模式
- np.memmap 适合布局固定的大数组;首次缺页、随机 I/O、dtype 转换和 H2D 仍需测量
⭐ 对 LLM 预训练:一种可选做法是提前 tokenize 成匹配 dtype 的数组,用
np.memmap按需读。 这可减少训练时重复解析;首次访存、缺页、随机 I/O、类型转换和搬运仍有成本。tokens = np.memmap("train.bin", dtype=np.uint16, mode="r") # 切片只创建访问视图;首次缺页、随机读取与 dtype 转换都可能花时间 x = torch.from_numpy(tokens[i:i+seq_len].astype(np.int64))
为什么小文件在分布式训练里特别糟:
关键信息
🔀 四、分布式下的数据划分
先写采样契约,再选 sampler
DistributedSampler 默认会为了让各 rank 样本数一致而在必要时补额外索引;设置 drop_last=True 则会丢掉不能整除的尾部。两种方式都不能直接等同于“全局不重不漏”。你必须记录选择,并用稳定的 sample_id 检查一轮里实际消费了谁。set_epoch(epoch) 的作用是让各轮按约定改变洗牌顺序;漏掉它通常会重复同一顺序,但仍要以 sampler/数据集实现为准。
⭐ 流式数据集的洗牌难题
流式洗牌是近似,不是把全量数据打乱
✂️ 五、序列打包:一个常被忽略的大优化
设真实 token 总数为 T_useful,模型实际处理的 token 槽位为 T_processed,利用率为:
$$U=\frac{T_{useful}}{T_{processed}}$$
U 没有单位,范围是 0 到 1。它只量化 padding 槽位,不等于 GPU 利用率,也不能直接承诺墙钟时间按同倍数变化。
把同一组长度算到底
更大的样本池和更好的装箱策略可能得到更高利用率,但“95%+”不是打包的固有保证。需要同时报告长度分布、block size、丢弃/截断规则、实际 U 和 step time。
⚠️ 打包必须正确隔离: 如果不隔离,样本 B 会 attend 到样本 A 的内容 —— 模型会学到错误的关联。 FlashAttention 支持
cu_seqlens(变长序列), 可以使用支持变长序列边界的实现(例如相应 FlashAttention 接口的cu_seqlens);具体掩码、位置编码和 loss 边界必须按模型实现验证(第 8 章)。
💽 六、存储层次
延迟和带宽回答不同问题:DRAM 访问走内存控制器;HDD 冷随机读还受机械寻道/旋转影响,SSD 去掉机械运动但仍有介质、控制器与接口开销,应用文件 I/O 又有队列、文件系统和可能的网络等待。因此大文件的 GB/s 不能直接代表一次小随机读要等多久。下面速率仅作背景示意,不是本机测量或设备排名。
深入:把数量级与训练等待分开算(可跳过)
只做单位换算:假设两次可比读取的延迟分别为 100 ns 与 100 μs,则后者为 100000 ns,是前者的 1000 倍,即 3 个数量级。这是设定值的算术,不是所有 DRAM/SSD 的规格;缓存命中、块大小、队列深度、读写方式和设备都会改变观测。
延迟可重叠,成本仍存在:顺序批量读与并发预取能摊薄每次请求开销;若平均供给不足以覆盖训练消耗,再多缓冲也只能暂时延后等待。只有预取及时完成且资源/缓冲充足,才可能把这部分等待隐藏在计算后面,还需看尾延迟和实际 GPU 等待。
分片还要写出来:上面的 读/元数据/写对照 补充预处理生成分片的代价;仅比较读吞吐,不能代表已确认持久化的生成速率。
来源示例:Seagate 的 HDD 随机/顺序访问模型、Intel 对介质与软件栈延迟的历史示例。它们用于解释机制,不能作为当前机型通用时延表。本页没有测设备、网络或训练速度。
分层不是固定速度排名,而是职责拆分
💡 一个实用技巧:训练前先把下一个 epoch 的数据分片预取到本地盘。 后台预取可尝试与训练重叠;只有按时完成且带宽/缓冲充足,才能隐藏相应等待,不能保证完全重叠。
🧭 七、数据版本与恢复游标:恢复训练不只是加载权重
训练在第 37,500 个 step 中断时,“下次从哪里继续”不是一个整数能回答的。至少要把下面六类状态绑定到同一个 checkpoint:
| 状态 | 最小内容 | 缺失时会怎样 |
|---|---|---|
| 数据身份 | 数据集版本、分片清单及校验和、过滤/去重规则版本 | 相同游标指向了不同样本 |
| 划分身份 | world size、rank/worker 分片规则、epoch、seed | 恢复后 rank 领取范围改变 |
| 读取位置 | 当前分片 ID、分片内 sample offset,或可重建的全局 sample offset | 从分片开头重读或跳过一段 |
| 近似洗牌状态 | RNG 状态、shuffle buffer 内容与补入位置 | 即使 seed 相同,也无法还原已经部分消费的 buffer |
| 组包状态 | 尚未装满 block 的剩余 sample/token、截断与边界规则版本 | 恢复点附近重复、漏 token 或样本串线 |
| 消费确认 | checkpoint 对应的最后已提交 optimizer step 与已消费 sample ID 范围 | 模型状态与数据游标一前一后 |
数字例:一个分片有 10,000 条样本,checkpoint 记录当前分片 shard-017 的 offset 为 6,400。若恢复代码只记住分片名并从 0 开始,这一分片会重复 6,400 条;若错误地从下一个分片开始,则会漏掉 10,000 − 6,400 = 3,600 条。训练仍能运行,loss 也未必立刻异常,所以必须用稳定 sample ID 审计。
把模型状态和数据游标作为一个恢复单元
如果 world size 改变,旧的 per-rank 游标通常不能原样套用。安全做法取决于数据集:可以从一个可重建的全局样本序号重新分片,或回退到最近的分片边界并明确接受/去除重复。不要静默声称“精确续训”。精确恢复、至少一次消费和允许少量重复是三种不同契约。
⭐ 和第 21 章的分界:第 21 章负责模型、优化器、调度器和随机数等训练状态;本章负责“这些状态对应哪一版数据、已经消费到哪里”。两边必须用同一个 checkpoint manifest 绑定。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 4 章 dataloader 实验 | 本章是它的展开 ⭐ |
| 第 10 章 set_epoch | 分布式采样 |
| 第 21 章 checkpoint 存数据位置 | 把训练状态与数据版本、读取游标、shuffle buffer 和组包余量绑定为同一恢复点 |
| 第 8 章 cu_seqlens | 序列打包的正确实现 |
| 《模型上线之后》04 训练推理一致性 七种不一致 | 本章只保证喂得快,不保证喂对;口径、时间窗口、缺失值处理在那边 ⭐ |
| 《推荐算法》07 特征工程 特征穿越 | 打包和洗牌都救不了你 —— 样本里混进了未来信息,管线越快错得越快 ⚠️ |
| 《Kaggle竞赛方法论》10 数据增强与输入管线 大规模图像读取方案 | 图像侧的同一个问题:小文件 → LMDB / TFRecord / 预处理缓存,和本章的打包同一个思路 |
✅ 检查点
- 怎么隔离输入路径瓶颈?为什么平均 samples/s 和 P95 都不能直接给出“实际超窗比例”?
- 单 rank 每步 32 个样本,纯计算 0.40 秒,8 个 rank 的单 rank 与全局需求各是多少?
- profiler 里哪些现象可把输入路径列为候选?为什么不能据此唯一归因?
- DataLoader 的四个常见错误配置?
pin_memory和non_blocking的关系是什么?- 为什么小文件在分布式训练里特别糟?
- 为什么不存在“LLM 预训练数据的唯一最佳格式”?举两个访问形状与格式的对应例。
- 为什么
DistributedSampler不能直接保证全局不重不漏? - 流式数据集怎样近似洗牌?为什么不能背固定 buffer 条数?
- 长度 [120, 2048, 340, 89, 1500] 逐条 pad 与打包成三个 2048 块时,利用率各是多少?
- 为了在中断后精确续读,除了 epoch 和 seed,还至少要保存哪些数据状态?
- 分片有 10,000 条,offset=6,400;从分片头恢复会重复多少,从下一分片恢复会漏多少?
👀 答案
- 先把 dataloader 换成固定 GPU 张量做对照,再单独测读取、解码、组 batch、H2D,并把 loader wait、CPU 同步/调度、GPU 空隙、collective 与 step time 对齐。平均供给只说明长期总量;P95 只给尾部位置。实际超窗比例必须直接统计
sum(prep_time > t_step) ÷ n。 - 单 rank 为
32 ÷ 0.40 = 80样本/秒;8 个 rank 全局为8 × 80 = 640样本/秒。单 rank loader 应与 80 比,不应和 640 直接比。 - step 边界空隙、loader wait 增长、预取队列见底都能把输入路径列为候选,但 CPU 同步/调度、collective、形状变化等也能产生相似现象;必须对齐多条时间线和阶段计时。
num_workers=0让读取/变换在主进程执行,复杂管线可能阻塞;过多 worker 会争抢 CPU/内存/存储;pin_memory=False不满足本章 pinned 源跨流重叠模式;persistent_workers=False会在每轮重建 worker。四项都要测量,不能写成固定最优参数。non_blocking=True尝试相对 CPU 异步返回,并不限于 pinned 内存;本章要让 H2D 与独立计算重叠,还需 pinned 源、不同流和可用 DMA 引擎。跨流用 wait_stream 管顺序、record_stream 或显式保留管寿命;CPU 改写源前须确认复制完成。- 因为大量 worker 同时读取小文件可能使元数据服务成为瓶颈,其他节点也可能受影响;要比较元数据、内容传输和解码耗时,不能仅凭文件数定因。
- 没有唯一最佳格式。只读少数列的表格可优先考虑 Parquet/Arrow;已 tokenize 的固定布局整数数组可考虑 memmap;大量顺序流式样本可用带索引的分片容器。每种都要按相同缓存和 worker 条件测量。
- 默认补齐可能重复样本,
drop_last=True会丢尾部;它主要保证各 rank 样本数/步数可对齐。必须声明采样契约,并用稳定 sample ID 审计实际重复与遗漏。 - 先打乱分片,再在本地 buffer 随机弹出并补入样本。buffer 大小应根据相邻相关性、来源混合度、内存和尾延迟验证;没有跨数据集通用的固定条数。
- 真实 token 为 4097。逐条 pad 处理 10240 个槽位,
4097 ÷ 10240 ≈ 40.0%;三个块处理 6144 个槽位,4097 ÷ 6144 ≈ 66.7%。槽位减少 40%,实际加速还取决于组包和内核。 - 至少包括数据版本/分片清单、划分规则与 world size、分片内 offset、RNG 与 shuffle buffer、未完成的组包状态,以及与最后完成 optimizer step 对齐的消费确认。
- 从分片头恢复会重复 6,400 条;跳到下一分片会漏
10,000 − 6,400 = 3,600条。
本节回顾
⚡ 走神救援
⭐ 最容易被忽略的瓶颈,也最容易被误诊成「模型慢」。
⭐⭐ 先隔离,再量化:固定 GPU 张量只把输入路径列为候选,不能直接锁定磁盘或 DataLoader。接着对齐 loader wait、H2D、CPU 同步/调度、GPU 空隙、collective 和 step time。单 rank 平均需求是
本地 batch ÷ 纯计算 step 时间;P95 不等于超窗比例,后者要直接统计prep_time > t_step的观测占比。加载器参数里最容易漏的两个:⭐ non_blocking 返回不代表复制完成;H2D/计算重叠需 pinned 源、独立流与硬件条件,源和目标还要各管寿命;⭐ 不开持久化 worker,每个 epoch 都要重建一次。
存储格式:⚠️⭐ 小文件是灾难——大量 worker 同读小文件可能压满元数据服务,需测量确认;✅ 打包成整块。⭐ 可选预处理路线是提前切词,按正确 dtype 存数组后用内存映射读——切片不等于零 I/O;冷/暖缓存、读取形状与转换搬运都影响成本。
分布式先写采样契约:数据版本、rank 划分、洗牌状态、同步步数和 sample ID 审计。
DistributedSampler的补齐可能重复、drop_last 会丢尾部;“训练没挂”不能证明不重不漏。流式 buffer 大小按相关性和混合度验证,不背固定数字。⭐⭐ 序列打包减少的是无效槽位:利用率
U = 真实 token ÷ 实际处理槽位。本章例子从 40.0% 提到 66.7%,不是固定 95% 或固定翻倍;必须隔离注意力、位置和 loss 边界。⭐ 存储层次的实用技巧:后台预取下一轮分片到本地盘;核对供给速率、缓冲和尾延迟,才知道隐藏了多少等待。
⭐ 恢复训练时,把数据版本、分片游标、shuffle buffer、RNG 和组包余量与模型 checkpoint 绑定。只加载权重或只记 epoch,不能证明没有重复和遗漏。
下一节 👉 23-可观测性与成本.md
条件与依据
预处理 token 的 dtype 必须覆盖词表最大 ID:uint16 仅容纳 0–65535,较大词表需 uint32 等。DistributedSampler 为各 rank 补齐时可能重复样本、drop_last 可能丢弃;要记录所选语义。上面的 CUDA 预取骨架用 wait_stream 安排顺序、record_stream 登记目标张量在消费流上的使用,并保留 CPU 源直到复制 event 完成;这些不能代替手动覆盖缓冲前的完成确认。
数据恢复清单是实现约束,不代表任意 IterableDataset 都能直接序列化内部游标。无法保存 buffer/worker 状态时,应明确采用分片边界重放、至少一次消费或离线去重等退化契约,并用 sample ID 验证。