00 · 怎么用这份教程
⏱ 20 分钟 · 第 01 章介绍基础设施解决的问题。本页的位置保存方法也在导读中说明。
🎯 一句话
本教程从单卡上的计算与搬运,走到多卡训练、推理服务和运维。任务对照表列出相关章节,五条课程路线标出学习顺序与先修关系。
🧱 放不下,和跑不快,是两个问题
先算一个小例子:70B × 每参数 2 字节 = 140 GB
这里的 70B 指 70 × 109 个参数。假设每个参数保存为 2 字节,权重共 70 × 109 × 2 = 140 × 109 字节,即 140 GB。运行时还要为缓存、激活、临时工作区和框架留空间。
所以“几张卡的总显存超过 140 GB”只是起点。每卡能否装下分到的内容,以及卡间通信是否拖慢,还要分别核对。
| 现象 | 先检查什么 | 不能直接断言什么 |
|---|---|---|
| batch 增大后 OOM | 哪类张量增加、峰值在哪一步 | 参数量小就一定放得下 |
| GPU 利用率低 | 数据等待、算子规模、通信和同步 | 一定是算力不足或带宽不足 |
| 回答生成慢 | 首字等待、每 token 时间、并发、输入长度 | 推理与训练的瓶颈完全相反 |
| 推理账单高 | 请求量、输出长度、闲置和重试 | 推理成本总比训练高 |
同一类矩阵运算,在不同形状与硬件上也可能分别受带宽或计算限制。见 NVIDIA 的矩阵乘性能说明。
👥 根据要交付的结果选择
| 今天要做什么 | 相关章节 |
|---|---|
| 解释为什么慢 | 读 04 · Roofline 与 MFU,先辨认限制在哪一层。看不懂搬运账就退回 03;涉及多卡再补 05。 |
| 部署推理服务 | 初次接触读 15 · 训练与推理。手头已有服务,直接到 20 留下一份可复测基线。 |
| 训练或微调 | 若卡在显存,先读 03 找出峰值来自哪里;若只想核对训练精度,从 06 · 混合精度 开始。 |
| 准备面试 | 用 03 的小例子开练,合上页面,试着说出假设、单位和结果。 |
| 只使用 API | 从 01 · 基础设施在解决什么 认识资源问题。已有用量记录时,到 23 核对计费分母。 |
| 想写 CUDA 内核 | 从 02 · GPU 理解硬件,再到 07 看算子怎么合并。写内核还需要另学编程接口和调试。 |
⚠️ 三种判断方法
① 数字要带条件和单位
先问“在哪种硬件、精度、输入形状下得到”。例如 400 Gb/s = 50 GB/s 是位与字节的换算,不是有效传输速度的保证。
显存带宽、卡间互联、跨机网络也不能只比数字,还要确认是单向、双向合计,还是整机汇总规格。
FlashAttention 通过分块减少显存读写,不是把注意力计算变成线性复杂度。只给序列长度和缓存 KB 数,不能推出固定的“20 倍加速”。读法见 08,条件见原论文。
② 说明优化拿什么换什么
| 方法 | 可能获得什么 | 还要核对什么 |
|---|---|---|
| 梯度检查点 | 少保存部分激活 | 反向时重算;额外时间不是固定 30% |
| 张量并行 | 分摊模型与计算 | 通信量与互联速度;不是只有 NVLink 才能运行 |
| 量化 | 减少存储或带宽需求 | 内核支持、实际速度、质量变化 |
| 连续批处理 | 更充分利用空出的计算位置 | 同时测吞吐和排队延迟,不保证单请求一定变慢 |
| 投机解码 | 条件合适时降低生成延迟 | 草稿成本、验证开销和接受率,不保证总能加速 |
③ 先测,再改,再复测
- 固定模型、输入长度、batch、并发和精度,留下基线。
- 看峰值显存、数据等待、各阶段耗时和通信。MFU 是参考指标,不等于能兑现的提速空间。
- 针对瓶颈改一个设置,记录速度、质量与资源的变化。
- 用相同条件复测,再判断瓶颈是否已经转移。
🧩 每章怎么读,怎么回来
一句话和小例子概括本章问题。算式、配置与反例用于解释实际结果,进阶推导与答案可展开查阅。
在本页可用「记住当前位置」(窄屏显示为「记住当前小节」)保存当前小节,回来也可以从小节导航或页尾回顾接上。
🧮 不同目标需要不同基础
| 准备读什么 | 用到的基础 | 不熟悉时去哪 |
|---|---|---|
| 资源算账 | 乘除法、字节单位、形状 | 01 · 起步 |
| 训练显存与并行 | 前向、反向、优化器状态 | ML · 反向传播 |
| 注意力与缓存 | Transformer 基本结构 | 导论 · Transformer |
| 跑实验与读实现 | Python、基础 PyTorch | ML · PyTorch |
读 01–05 可以先从单位、图和小例子开始。训练路线遇到反向或优化器状态时,再补相应基础;推理路线遇到注意力时再补 Transformer。需要跑实验时才准备 Python、PyTorch 与对应硬件。多机部署还要结合真实负载验证通信、容错和运维。
🗺️ 完整主题地图
| 主题 | 到哪读 |
|---|---|
| 起步 | 00 · 选路线,01 · 认识资源问题。 |
| 硬件与瓶颈 | 02 GPU、03 显存、04 性能上界、05 互联。先认识计算和搬运各走哪条路。 |
| 单卡优化 | 06 混合精度、07 融合与编译、08 FlashAttention、09 显存优化。按现象选方法,学会验证结果。 |
| 分布式训练 | 10 数据并行、11 ZeRO/FSDP、12 张量并行、13 流水线并行、14 组合。先分别理解怎么分,再比较组合。 |
| 推理与服务 | 15 推理阶段、16 KV Cache、17 批处理与分页、18 量化、19 投机解码、20 服务化。从阶段和指标入手,再按目标选优化。 |
| 可选压缩专题 | 18b 知识蒸馏、18c 剪枝与稀疏化。需要调整模型时再读。 |
| 稳定与成本 | 21 容错、22 数据管线、23 可观测性与成本。训练和服务运行后,用这些章节定位异常。 |
| 动手与查阅 | 24 选一个项目,用 附录 A 查术语和口径。 |
需要逐章打卡或按编号浏览,可以回到本模块目录。
🧭 五条课程路线
箭头表示建议顺序。每条先完成一小段,再按任务补专题。
- 系统入门
01 认识资源问题 → 02 认识 GPU → 03 算显存与带宽 → 04 找性能上界。能说清「装不下」和「跑不快」分别要查什么。 - 训练与微调
03 显存 → 06 精度 → 09 显存优化,先留一份单卡显存记录。要上多卡,先补 05 互联,再从 10 读到 14;训练不稳或等数据,再看 21、22。 - 理解和优化推理
15 区分两阶段 → 16 KV Cache → 17 调度与分页。先能指出变慢在哪一段,再按需要选 18 量化 或 19 投机解码。 - 服务落地与成本
如果还分不清推理阶段,先补 15。然后读 20 做压测基线 → 23 看指标和账单。能记录同一负载下的延迟、吞吐和成本口径后,再到 24 选一项实战。只使用 API 时,可以先完成 23 的成本练习。 - 面试前回查
从 附录 A 找术语,从主题地图回到对应章的例子和检查点。任选一题,说出它解决的问题、一个条件和一个反例。
🔗 和其他模块怎样接起来
| 读到哪里卡住 | 去哪里补,补完回哪 |
|---|---|
| 激活和梯度 | 先读 ML · 反向传播,再回 03 · 显存。 |
| 优化器状态 | 先读 ML · 优化器,再回 11 · ZeRO/FSDP 看状态怎么分摊。 |
| 注意力读写与缓存 | 先读 导论 · Transformer,再回 08 · FlashAttention 或 16 · KV Cache。 |
| 推理技术名词 | 先看 导论 · 推理优化 的全景,再走本页的推理路线。 |
| 算子数据布局 | 到 框架底下是 C++ · cache 与数据布局 补布局,再回 07。 |
| 推理结果怎么送到界面 | 本课 20 关注推理服务;到 AI 全栈 · 流式输出 看应用怎么传送输出。 |
| 上线后的预算与容量 | 本课 23 建立度量,再到 上线之后 · 成本与容量 看容量和预算策略。 |
| 偏好训练的资源 | 先看 强化学习 · RLHF 的组件,再回 03 和 09 按具体方案算显存。 |
✅ 检查点
选一个与你的问题有关的题目即可。
- 权重占 140 GB,为什么运行不一定只需 140 GB?
- GPU 利用率低,能直接证明是带宽瓶颈吗?
- “检查点让训练慢 30%”为什么不能当作固定预算?
- 对比优化前后,应固定哪些条件?
- 已经有推理服务,今天只想查延迟和账单,可以从哪两章入手?
查看参考答案
- 缓存、激活、工作区和框架也占空间;多卡还涉及分片和拓扑。
- 不能,还可能是小算子、数据等待、同步或通信,需要分阶段测量。
- 重算范围、模型、硬件与调度会改变额外耗时。
- 模型、输入长度、batch、并发、精度和质量要求,并记录软件硬件环境。
- 先从 20 找基线与压测入口,再用 23 查指标和成本;读不懂推理阶段时再回 15。
本章回顾
⚡ 走神救援
回来的时候看这里
- 先分清容量不够还是速度不够,不凭一个利用率数字定瓶颈。
- 数字带上单位与条件;读写减少不等于整网同倍数加速。
- 一次选择一种优化,保留基线与代价,再决定下一步。
👉 从 01 的资源问题开始,或选今天的第一站。回访时也可以直接用主题地图找章。