AI基础设施 · 01
同一个模型,为什么能装下,却未必能按时交付?
跟着一个 7B 问答模型,从显存和训练时间走到请求达标、故障恢复与成本。
读完能判断:装不下、跑得慢、请求超时或恢复失败时,分别该查什么证据。
📑 本页目录(点开跳转)
01 · AI Infra 在解决什么问题
⏱ 22 分钟 | ⭐ 从现象找到下一项证据
🎯 一句话
假设团队要训练并上线一个 7B(70 亿参数)的问答模型。先遇到显存不足,换成多卡后终于开始训练,却常在等数据或等另一张卡。模型上线后,即使每秒生成的内容变多,也还有用户等不到回复。
AI 基础设施(AI Infrastructure,简称 AI Infra)解决的是从模型到可交付系统之间的这些问题。它把硬件、执行程序、数据与服务组织起来,让模型在有限资源下稳定运行。接下来的数字都属于这个教学案例。
🔎 一、同一个模型的四道关
① 装得下吗?先列同一时刻的显存账
只数长期保留的四项,就已经超过预算
假设不分片,使用 BF16 参数与梯度,每个数各占 2 字节。训练还保留一份 FP32 主权重,每个数 4 字节。Adam 优化器为每个参数保留两个 FP32 状态,用来跟踪梯度及梯度平方的移动平均,共 8 字节。1 GB 按 10 亿字节计。
70 亿参数乘上每项的字节数,参数和梯度分别是 14 GB,主权重是 28 GB,Adam 状态是 56 GB。四项合计 14 + 14 + 28 + 56 = 112 GB。再加上反向传播需要的前向中间结果(激活)和临时缓冲,这套配置超过一张 80 GB 卡的预算。
这解释了为什么减小每次前向的样本数未必有效。这样通常能减少激活,本例光是长期保留的状态就已超预算。也可以改变存储布局,例如用 ZeRO 把部分状态分给多卡。第 03 章会把训练与推理的显存项分开算,第 09 章会对照各种减显存手段的代价。
② 跑得动吗?区分设备在忙与训练在前进
团队把状态放进多张卡后,终于能训练。设备的监控图上长时间有内核在跑,训练一步却仍然很慢。GPU 活跃比例(GPU-Util)衡量采样期间至少有一个内核在执行的时间占比,小内核一直在运行也会把这个值抬高。
模型浮点运算利用率(Model FLOPs Utilization,MFU)则用模型的有效运算速率与匹配口径的硬件理论峰值相比。假设同一测量窗口里,峰值口径是每秒 100 万亿次浮点运算,完成的模型工作折合每秒 40 万亿次,比例就是 40 ÷ 100 = 40%。这个数不能直接说明另 60% 的钱浪费了,也没有跨模型通用的及格线。要结合步时、训练吞吐和时间线查等待。
为什么还要看搬运和互联?
算力描述每秒最多能做多少运算,带宽描述每秒最多能搬多少字节。数据可能要从本卡显存读入执行单元,也可能要跨卡或跨机交换。卡的计算峰值变高,数据若仍没及时到齐,训练仍会等。第 03 章解释本卡读写,第 05 章解释跨设备的路径,两种流量要分开查。
③ 交付达标吗?按请求统计
训练更新模型参数。服务通常用已经训练好的参数反复回答请求,会为正在生成的请求保存上下文所需的缓存。训练关心这一步多久结束,服务还要看用户等多久才看到第一段输出,以及有多少请求最终成功。第 15 章会拆开读入提示和逐步生成的阶段。
本例设定一个服务水平目标(Service Level Objective,SLO)。每个 10 分钟测量窗口内,至少 95% 的合规到达请求要在 500 毫秒内收到第一个 token(模型生成的一个文本单位),并最终完成。这个窗口和阈值都是教学设定。超时与因过载被拒绝的合规请求也计入分母。第 20 章会展开计时位置和达标率口径。
④ 出故障后能继续吗?核对恢复状态
同一个模型如果训练到一半断了,检查点文件存在只能说明有东西写出来。真正的证据是从一次演练中读回模型、优化器和数据位置,核对下一批是否接对,再记录恢复用了多久、要重做几步。第 21 章讲恢复验证,第 22 章讲数据供给和持久化。
🗺️ 二、这个领域的地图
同一个异常会跨层传递。数据读取慢会让训练卡等下一批,训练结果上线后,缓存或排队又可能拖慢交付。下面把每一层能给出的证据和它能回答的问题放在一起。按目标选择学习入口,可回到第 00 章。
| 卡在哪 | 先查什么 | 证据在哪学 |
|---|---|---|
| 装不下或搬不动 | 每卡显存峰值、读写字节、互联等待 | 02 GPU、03 显存、04 性能上界、05 互联 |
| 训练步太慢 | 精度、内核、峰值显存与各卡时间线 | 06 精度、07 融合、08 注意力、09 显存优化、10 数据并行至14 策略组合 |
| 服务交付不达标 | 输入和输出长度、首段等待、队列、完成率、输出质量 | 15 推理阶段、16 缓存、17 调度、18 量化至20 服务 |
| 恢复不了或账单高 | 恢复演练、数据供给、故障日志、达标产出与费用 | 21 恢复、22 数据、23 观测与成本、24 实战 |
例如训练可能使用 PyTorch 框架,服务可能使用 vLLM 推理引擎。比较时要记录框架、模型和设备版本。训练的并行放置会受硬件连接限制,服务的压缩与生成方式也要复验交付目标。知识蒸馏、剪枝与稀疏化、投机解码是作用点不同的候选。需要查名词时,可打开附录 A。
💰 三、一笔具体的达标成本账
继续看这个 7B 问答服务。两套配置用同一批 1,000 个合规请求、同样的到达节奏与长度分布,分别重放 10 分钟。假设回答质量通过同一套验收,窗口内到达的请求都已归类。下面的金额是假设的算力费用。
| 指标 | 配置 A | 配置 B |
|---|---|---|
| 达标请求 | 960 / 1,000 | 910 / 1,000 |
| 达标率 | 96% | 91% |
| 整窗费用 | 12 元 | 11.8 元 |
| 每千达标请求 | 12.50 元 | 12.97 元 |
每千达标请求的费用按「整窗费用 ÷ 达标请求数 × 1,000」计算。A 为 12 ÷ 960 × 1,000 = 12.50 元,B 为 11.8 ÷ 910 × 1,000 ≈ 12.97 元。B 虽少花了 0.2 元,却有更少的请求达标,也低于本例 95% 的目标。实际对照还要标明费用包含哪些资源和观察窗口。长周期里哪项花得多,取决于训练重跑次数、服务负载与运行时间,见第 23 章。
🧠 四、这个领域的思维方式
⭐ 先算一条下界,再拿实测来排查
先问数字来自哪一层
例如这个模型在某一张卡上完成的一次注意力计算,假设做 20 亿次浮点运算,往返显存 1 亿字节。演示用的计算峰值为每秒 100 万亿次运算,显存带宽上限为每秒 1 万亿字节。计算至少用 20 亿 ÷ 100 万亿 = 0.00002 秒,即 20 微秒;搬运至少用 1 亿 ÷ 1 万亿 = 0.0001 秒,即 100 微秒(1 微秒是百万分之一秒)。即使两者完全重叠,也至少要 100 微秒。这个估算只说明在这两项中,搬运的下界更紧。若实测更慢,还得查内核、同步或流量口径。第 08 章会用注意力分块说明哪些中间读写可以省掉。
⚠️ 三个常见的错误直觉
| 听到的判断 | 补哪条证据 |
|---|---|
| 算力更高的卡一定快 | 看等的是计算、读写还是跨卡通信。 |
| 加卡一定线性提速 | 同一任务对照总步时和通信时间,先对齐总批量。 |
| 显存不足就减小每次输入 | 分别看常驻状态、激活和临时缓冲,先找最大的一项。 |
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| ML 基础第 8 章 反向传播要用前向信息 | 这就是激活显存的来源 ⭐ |
| ML 基础第 9 章 Adam 有 m、v 两个状态 | 本例优化器状态占 56 GB 的原因 |
| 全景导论主线 2 · 模型怎样看懂一句话 稠密注意力会比较位置之间的关系 | 解释为什么序列变长时,要单独核对注意力的计算和读写 |
| 数学原理第 12 章 | 理解反向计算需要哪些前向值,以及为什么有些值可以重算。 |
✅ 检查点
- 本例单卡不分片训练,减小每次前向的样本数,为什么仍可能装不下?
- GPU-Util 很高、训练还是很慢,还要查什么?
- 在注意力算例里,两个时间下界分别是多少?哪个更紧?
- 在同样的 1,000 个合规请求里,配置 B 的总费用更少,为什么每千达标请求更贵?
- 检查点文件能打开,为什么还要演练恢复?
👀 答案
- 样本变少通常会减少激活。这里 14 + 14 + 28 + 56 = 112 GB 的状态仍超过 80 GB,需改存储布局或预算。
- 查同一窗口的训练步时、全局吞吐和数据、通信的等待时间。GPU-Util 只说明设备有内核在执行。
- 计算至少 20 微秒,搬运至少 100 微秒;后者是较紧的下界,实际还可能更慢。
- A 每千达标请求 12 ÷ 960 × 1,000 = 12.50 元,B 为 11.8 ÷ 910 × 1,000 ≈ 12.97 元。费用的降幅小于达标产出的降幅。
- 还要验证优化器与数据位置能对齐、训练能接续,并记录恢复时间和重做的工作量。
本节回顾
⚡ 走神救援
先记住这几件事
- 容量看同一时刻要存多少,速度看运算、搬运与等待各用了多久。
- 交付看请求是否达标,成本看每份达标产出用了多少钱。
- 恢复要演练到工作确实接续。接下来先看 GPU 内部怎样把工作交给计算和存储。
下一节 👉 02-GPU到底是什么.md