🏠 总目录📚 本教程 怎么用 →

AI 基础设施 · 从一个容量判断开始

70B 权重约 140 GB,为什么还不能直接决定用几张卡?

按每参数 2 字节计算得到的是十进制权重存储量;运行还要计入缓存、激活、工作区及每卡分配与通信条件。

读完能判断:区分容量与速度问题,带着单位、运行条件和验证方法选择第一站。

📑 本页目录(点开跳转)

00 · 怎么用这份教程

⏱ 20 分钟 · 第 01 章介绍基础设施解决的问题。本页的位置保存方法也在导读中说明。

🎯 一句话

本教程从单卡上的计算与搬运,走到多卡训练、推理服务和运维。任务对照表列出相关章节,五条课程路线标出学习顺序与先修关系。

🧱 放不下,和跑不快,是两个问题

先算一个小例子:70B × 每参数 2 字节 = 140 GB

这里的 70B 指 70 × 109 个参数。假设每个参数保存为 2 字节,权重共 70 × 109 × 2 = 140 × 109 字节,即 140 GB。运行时还要为缓存、激活、临时工作区和框架留空间。

所以“几张卡的总显存超过 140 GB”只是起点。每卡能否装下分到的内容,以及卡间通信是否拖慢,还要分别核对。

现象 先检查什么 不能直接断言什么
batch 增大后 OOM 哪类张量增加、峰值在哪一步 参数量小就一定放得下
GPU 利用率低 数据等待、算子规模、通信和同步 一定是算力不足或带宽不足
回答生成慢 首字等待、每 token 时间、并发、输入长度 推理与训练的瓶颈完全相反
推理账单高 请求量、输出长度、闲置和重试 推理成本总比训练高

同一类矩阵运算,在不同形状与硬件上也可能分别受带宽或计算限制。见 NVIDIA 的矩阵乘性能说明。

👥 根据要交付的结果选择

只读一站时,先找到手头任务
今天要做什么相关章节
解释为什么慢读 04 · Roofline 与 MFU,先辨认限制在哪一层。看不懂搬运账就退回 03;涉及多卡再补 05。
部署推理服务初次接触读 15 · 训练与推理。手头已有服务,直接到 20 留下一份可复测基线。
训练或微调若卡在显存,先读 03 找出峰值来自哪里;若只想核对训练精度,从 06 · 混合精度 开始。
准备面试用 03 的小例子开练,合上页面,试着说出假设、单位和结果。
只使用 API从 01 · 基础设施在解决什么 认识资源问题。已有用量记录时,到 23 核对计费分母。
想写 CUDA 内核从 02 · GPU 理解硬件,再到 07 看算子怎么合并。写内核还需要另学编程接口和调试。

⚠️ 三种判断方法

① 数字要带条件和单位

先问“在哪种硬件、精度、输入形状下得到”。例如 400 Gb/s = 50 GB/s 是位与字节的换算,不是有效传输速度的保证。

显存带宽、卡间互联、跨机网络也不能只比数字,还要确认是单向、双向合计,还是整机汇总规格。

FlashAttention 通过分块减少显存读写,不是把注意力计算变成线性复杂度。只给序列长度和缓存 KB 数,不能推出固定的“20 倍加速”。读法见 08,条件见原论文。

② 说明优化拿什么换什么

方法 可能获得什么 还要核对什么
梯度检查点 少保存部分激活 反向时重算;额外时间不是固定 30%
张量并行 分摊模型与计算 通信量与互联速度;不是只有 NVLink 才能运行
量化 减少存储或带宽需求 内核支持、实际速度、质量变化
连续批处理 更充分利用空出的计算位置 同时测吞吐和排队延迟,不保证单请求一定变慢
投机解码 条件合适时降低生成延迟 草稿成本、验证开销和接受率,不保证总能加速

③ 先测,再改,再复测

  1. 固定模型、输入长度、batch、并发和精度,留下基线。
  2. 看峰值显存、数据等待、各阶段耗时和通信。MFU 是参考指标,不等于能兑现的提速空间。
  3. 针对瓶颈改一个设置,记录速度、质量与资源的变化。
  4. 用相同条件复测,再判断瓶颈是否已经转移。

🧩 每章怎么读,怎么回来

一句话和小例子概括本章问题。算式、配置与反例用于解释实际结果,进阶推导与答案可展开查阅。

在本页可用「记住当前位置」(窄屏显示为「记住当前小节」)保存当前小节,回来也可以从小节导航或页尾回顾接上。

🧮 不同目标需要不同基础

准备读什么 用到的基础 不熟悉时去哪
资源算账 乘除法、字节单位、形状 01 · 起步
训练显存与并行 前向、反向、优化器状态 ML · 反向传播
注意力与缓存 Transformer 基本结构 导论 · Transformer
跑实验与读实现 Python、基础 PyTorch ML · PyTorch

读 01–05 可以先从单位、图和小例子开始。训练路线遇到反向或优化器状态时,再补相应基础;推理路线遇到注意力时再补 Transformer。需要跑实验时才准备 Python、PyTorch 与对应硬件。多机部署还要结合真实负载验证通信、容错和运维。

🗺️ 完整主题地图

八组章节和各自的用途
主题到哪读
起步00 · 选路线,01 · 认识资源问题。
硬件与瓶颈02 GPU、03 显存、04 性能上界、05 互联。先认识计算和搬运各走哪条路。
单卡优化06 混合精度、07 融合与编译、08 FlashAttention、09 显存优化。按现象选方法,学会验证结果。
分布式训练10 数据并行、11 ZeRO/FSDP、12 张量并行、13 流水线并行、14 组合。先分别理解怎么分,再比较组合。
推理与服务15 推理阶段、16 KV Cache、17 批处理与分页、18 量化、19 投机解码、20 服务化。从阶段和指标入手,再按目标选优化。
可选压缩专题18b 知识蒸馏、18c 剪枝与稀疏化。需要调整模型时再读。
稳定与成本21 容错、22 数据管线、23 可观测性与成本。训练和服务运行后,用这些章节定位异常。
动手与查阅24 选一个项目,用 附录 A 查术语和口径。

需要逐章打卡或按编号浏览,可以回到本模块目录。

🧭 五条课程路线

箭头表示建议顺序。每条先完成一小段,再按任务补专题。

  1. 系统入门
    01 认识资源问题 → 02 认识 GPU → 03 算显存与带宽 → 04 找性能上界。能说清「装不下」和「跑不快」分别要查什么。
  2. 训练与微调
    03 显存 → 06 精度 → 09 显存优化,先留一份单卡显存记录。要上多卡,先补 05 互联,再从 10 读到 14;训练不稳或等数据,再看 21、22。
  3. 理解和优化推理
    15 区分两阶段 → 16 KV Cache → 17 调度与分页。先能指出变慢在哪一段,再按需要选 18 量化 或 19 投机解码。
  4. 服务落地与成本
    如果还分不清推理阶段,先补 15。然后读 20 做压测基线 → 23 看指标和账单。能记录同一负载下的延迟、吞吐和成本口径后,再到 24 选一项实战。只使用 API 时,可以先完成 23 的成本练习。
  5. 面试前回查
    从 附录 A 找术语,从主题地图回到对应章的例子和检查点。任选一题,说出它解决的问题、一个条件和一个反例。

🔗 和其他模块怎样接起来

先补缺的知识,再回到这门课
读到哪里卡住去哪里补,补完回哪
激活和梯度先读 ML · 反向传播,再回 03 · 显存。
优化器状态先读 ML · 优化器,再回 11 · ZeRO/FSDP 看状态怎么分摊。
注意力读写与缓存先读 导论 · Transformer,再回 08 · FlashAttention 或 16 · KV Cache。
推理技术名词先看 导论 · 推理优化 的全景,再走本页的推理路线。
算子数据布局到 框架底下是 C++ · cache 与数据布局 补布局,再回 07。
推理结果怎么送到界面本课 20 关注推理服务;到 AI 全栈 · 流式输出 看应用怎么传送输出。
上线后的预算与容量本课 23 建立度量,再到 上线之后 · 成本与容量 看容量和预算策略。
偏好训练的资源先看 强化学习 · RLHF 的组件,再回 03 和 09 按具体方案算显存。

✅ 检查点

选一个与你的问题有关的题目即可。

  1. 权重占 140 GB,为什么运行不一定只需 140 GB?
  2. GPU 利用率低,能直接证明是带宽瓶颈吗?
  3. “检查点让训练慢 30%”为什么不能当作固定预算?
  4. 对比优化前后,应固定哪些条件?
  5. 已经有推理服务,今天只想查延迟和账单,可以从哪两章入手?
查看参考答案
  1. 缓存、激活、工作区和框架也占空间;多卡还涉及分片和拓扑。
  2. 不能,还可能是小算子、数据等待、同步或通信,需要分阶段测量。
  3. 重算范围、模型、硬件与调度会改变额外耗时。
  4. 模型、输入长度、batch、并发、精度和质量要求,并记录软件硬件环境。
  5. 先从 20 找基线与压测入口,再用 23 查指标和成本;读不懂推理阶段时再回 15。

本章回顾

⚡ 走神救援

回来的时候看这里

  • 先分清容量不够还是速度不够,不凭一个利用率数字定瓶颈。
  • 数字带上单位与条件;读写减少不等于整网同倍数加速。
  • 一次选择一种优化,保留基线与代价,再决定下一步。

👉 从 01 的资源问题开始,或选今天的第一站。回访时也可以直接用主题地图找章。

打卡记录保存在你的浏览器里,首页能看到总进度