🏠 总目录📚 本教程 在解决什么问题 ← →

AI基础设施 · 01

同一个模型,为什么能装下,却未必能按时交付?

跟着一个 7B 问答模型,从显存和训练时间走到请求达标、故障恢复与成本。

读完能判断:装不下、跑得慢、请求超时或恢复失败时,分别该查什么证据。

📑 本页目录(点开跳转)

01 · AI Infra 在解决什么问题

⏱ 22 分钟 | ⭐ 从现象找到下一项证据


🎯 一句话

假设团队要训练并上线一个 7B(70 亿参数)的问答模型。先遇到显存不足,换成多卡后终于开始训练,却常在等数据或等另一张卡。模型上线后,即使每秒生成的内容变多,也还有用户等不到回复。

AI 基础设施(AI Infrastructure,简称 AI Infra)解决的是从模型到可交付系统之间的这些问题。它把硬件、执行程序、数据与服务组织起来,让模型在有限资源下稳定运行。接下来的数字都属于这个教学案例。


🔎 一、同一个模型的四道关

① 装得下吗?先列同一时刻的显存账

只数长期保留的四项,就已经超过预算

假设不分片,使用 BF16 参数与梯度,每个数各占 2 字节。训练还保留一份 FP32 主权重,每个数 4 字节。Adam 优化器为每个参数保留两个 FP32 状态,用来跟踪梯度及梯度平方的移动平均,共 8 字节。1 GB 按 10 亿字节计。

70 亿参数乘上每项的字节数,参数和梯度分别是 14 GB,主权重是 28 GB,Adam 状态是 56 GB。四项合计 14 + 14 + 28 + 56 = 112 GB。再加上反向传播需要的前向中间结果(激活)和临时缓冲,这套配置超过一张 80 GB 卡的预算。

这解释了为什么减小每次前向的样本数未必有效。这样通常能减少激活,本例光是长期保留的状态就已超预算。也可以改变存储布局,例如用 ZeRO 把部分状态分给多卡。第 03 章会把训练与推理的显存项分开算,第 09 章会对照各种减显存手段的代价。

② 跑得动吗?区分设备在忙与训练在前进

团队把状态放进多张卡后,终于能训练。设备的监控图上长时间有内核在跑,训练一步却仍然很慢。GPU 活跃比例(GPU-Util)衡量采样期间至少有一个内核在执行的时间占比,小内核一直在运行也会把这个值抬高。

模型浮点运算利用率(Model FLOPs Utilization,MFU)则用模型的有效运算速率与匹配口径的硬件理论峰值相比。假设同一测量窗口里,峰值口径是每秒 100 万亿次浮点运算,完成的模型工作折合每秒 40 万亿次,比例就是 40 ÷ 100 = 40%。这个数不能直接说明另 60% 的钱浪费了,也没有跨模型通用的及格线。要结合步时、训练吞吐和时间线查等待。

为什么还要看搬运和互联?

算力描述每秒最多能做多少运算,带宽描述每秒最多能搬多少字节。数据可能要从本卡显存读入执行单元,也可能要跨卡或跨机交换。卡的计算峰值变高,数据若仍没及时到齐,训练仍会等。第 03 章解释本卡读写,第 05 章解释跨设备的路径,两种流量要分开查。

③ 交付达标吗?按请求统计

训练更新模型参数。服务通常用已经训练好的参数反复回答请求,会为正在生成的请求保存上下文所需的缓存。训练关心这一步多久结束,服务还要看用户等多久才看到第一段输出,以及有多少请求最终成功。第 15 章会拆开读入提示和逐步生成的阶段。

本例设定一个服务水平目标(Service Level Objective,SLO)。每个 10 分钟测量窗口内,至少 95% 的合规到达请求要在 500 毫秒内收到第一个 token(模型生成的一个文本单位),并最终完成。这个窗口和阈值都是教学设定。超时与因过载被拒绝的合规请求也计入分母。第 20 章会展开计时位置和达标率口径。

④ 出故障后能继续吗?核对恢复状态

同一个模型如果训练到一半断了,检查点文件存在只能说明有东西写出来。真正的证据是从一次演练中读回模型、优化器和数据位置,核对下一批是否接对,再记录恢复用了多久、要重做几步。第 21 章讲恢复验证,第 22 章讲数据供给和持久化。


🗺️ 二、这个领域的地图

同一个异常会跨层传递。数据读取慢会让训练卡等下一批,训练结果上线后,缓存或排队又可能拖慢交付。下面把每一层能给出的证据和它能回答的问题放在一起。按目标选择学习入口,可回到第 00 章。

从症状到证据,再找到对应章节
卡在哪先查什么证据在哪学
装不下或搬不动每卡显存峰值、读写字节、互联等待02 GPU、03 显存、04 性能上界、05 互联
训练步太慢精度、内核、峰值显存与各卡时间线06 精度、07 融合、08 注意力、09 显存优化、10 数据并行至14 策略组合
服务交付不达标输入和输出长度、首段等待、队列、完成率、输出质量15 推理阶段、16 缓存、17 调度、18 量化至20 服务
恢复不了或账单高恢复演练、数据供给、故障日志、达标产出与费用21 恢复、22 数据、23 观测与成本、24 实战

例如训练可能使用 PyTorch 框架,服务可能使用 vLLM 推理引擎。比较时要记录框架、模型和设备版本。训练的并行放置会受硬件连接限制,服务的压缩与生成方式也要复验交付目标。知识蒸馏、剪枝与稀疏化、投机解码是作用点不同的候选。需要查名词时,可打开附录 A。


💰 三、一笔具体的达标成本账

继续看这个 7B 问答服务。两套配置用同一批 1,000 个合规请求、同样的到达节奏与长度分布,分别重放 10 分钟。假设回答质量通过同一套验收,窗口内到达的请求都已归类。下面的金额是假设的算力费用。

总费用与每千达标请求费用是两笔账
指标配置 A配置 B
达标请求960 / 1,000910 / 1,000
达标率96%91%
整窗费用12 元11.8 元
每千达标请求12.50 元12.97 元

每千达标请求的费用按「整窗费用 ÷ 达标请求数 × 1,000」计算。A 为 12 ÷ 960 × 1,000 = 12.50 元,B 为 11.8 ÷ 910 × 1,000 ≈ 12.97 元。B 虽少花了 0.2 元,却有更少的请求达标,也低于本例 95% 的目标。实际对照还要标明费用包含哪些资源和观察窗口。长周期里哪项花得多,取决于训练重跑次数、服务负载与运行时间,见第 23 章。


🧠 四、这个领域的思维方式

⭐ 先算一条下界,再拿实测来排查

先问数字来自哪一层

定范围:同一次计算里做多少次运算、搬多少字节?
算下界:各除以对应层的峰值速率,取两项中较长的时间。
查证据:用同一输入对照时间线,再查实际读写、等待或同步。

例如这个模型在某一张卡上完成的一次注意力计算,假设做 20 亿次浮点运算,往返显存 1 亿字节。演示用的计算峰值为每秒 100 万亿次运算,显存带宽上限为每秒 1 万亿字节。计算至少用 20 亿 ÷ 100 万亿 = 0.00002 秒,即 20 微秒;搬运至少用 1 亿 ÷ 1 万亿 = 0.0001 秒,即 100 微秒(1 微秒是百万分之一秒)。即使两者完全重叠,也至少要 100 微秒。这个估算只说明在这两项中,搬运的下界更紧。若实测更慢,还得查内核、同步或流量口径。第 08 章会用注意力分块说明哪些中间读写可以省掉。

⚠️ 三个常见的错误直觉

听到的判断补哪条证据
算力更高的卡一定快看等的是计算、读写还是跨卡通信。
加卡一定线性提速同一任务对照总步时和通信时间,先对齐总批量。
显存不足就减小每次输入分别看常驻状态、激活和临时缓冲,先找最大的一项。

🔗 和站内其他章的关系

相关的地方 这里的位置
ML 基础第 8 章 反向传播要用前向信息 这就是激活显存的来源 ⭐
ML 基础第 9 章 Adam 有 m、v 两个状态 本例优化器状态占 56 GB 的原因
全景导论主线 2 · 模型怎样看懂一句话 稠密注意力会比较位置之间的关系 解释为什么序列变长时,要单独核对注意力的计算和读写
数学原理第 12 章 理解反向计算需要哪些前向值,以及为什么有些值可以重算。

✅ 检查点

  1. 本例单卡不分片训练,减小每次前向的样本数,为什么仍可能装不下?
  2. GPU-Util 很高、训练还是很慢,还要查什么?
  3. 在注意力算例里,两个时间下界分别是多少?哪个更紧?
  4. 在同样的 1,000 个合规请求里,配置 B 的总费用更少,为什么每千达标请求更贵?
  5. 检查点文件能打开,为什么还要演练恢复?
👀 答案
  1. 样本变少通常会减少激活。这里 14 + 14 + 28 + 56 = 112 GB 的状态仍超过 80 GB,需改存储布局或预算。
  2. 查同一窗口的训练步时、全局吞吐和数据、通信的等待时间。GPU-Util 只说明设备有内核在执行。
  3. 计算至少 20 微秒,搬运至少 100 微秒;后者是较紧的下界,实际还可能更慢。
  4. A 每千达标请求 12 ÷ 960 × 1,000 = 12.50 元,B 为 11.8 ÷ 910 × 1,000 ≈ 12.97 元。费用的降幅小于达标产出的降幅。
  5. 还要验证优化器与数据位置能对齐、训练能接续,并记录恢复时间和重做的工作量。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 02-GPU到底是什么.md

条件与依据

显存算账沿用 BF16 参数/梯度各 2 字节、FP32 主权重 4 字节、Adam 两份矩共 8 字节的示例,总计 16 字节/参数。不同训练实现可能采用不同存储。时间下界、达标阈值和费用都是本章的教学假设,真实部署要用实际指标和账单。

官方文档;官方文档

打卡记录保存在你的浏览器里,首页能看到总进度