AI基础设施 · 23
CPU 百分比不高,Linux load 却很高,说明什么?
不同层的指标回答不同问题。系统 load、资源百分比、模型吞吐和用户 SLO 需要放在同一采样窗口里解释。
读完能判断:将系统/任务/模型指标与成本口径配对,避免只看一个百分比。
📑 本页目录(点开跳转)
23 · 可观测性与成本
⏱ 38 分钟 | ⭐ 看懂一次延迟回退,再核对服务账单
🎯 一句话
推理服务上线新配置后,每秒输出的 token 多了,GPU 也更忙,用户却更常等不到首个 token。先沿用第 20 章的首 token 时间(TTFT)、平均每输出 token 时间(TPOT)和达标率,判断体验在哪一段变差,再结合请求记录查原因。最后用同一批观测数据算一笔账:输出更便宜时,每个达标请求也一定更便宜吗?
📊 一、四层指标体系
宿主 CPU 的两个数别混用:CPU 使用率描述采样期间 CPU 时间花在哪里;Linux Load Average 描述运行/可运行及不可中断等待任务数的平滑平均。前者是时间比例,后者是任务数,不能互相直接换算。它们是下面硬件层的补充诊断信号,仍要回到业务、排队和训练等待判断影响。
深入:Linux 使用率与 load 怎样一起读(可跳过)
- 使用率要有窗口和分母:工具通常对两次 /proc/stat CPU 时间计数作差。要注明整机/单 CPU/进程口径、采样间隔及归一化方式;8 个逻辑 CPU 中只有 1 个全忙时,整机归一化约 12.5%,按“单 CPU=100%”展示的相应进程可能约 100%,两者并不矛盾。
- 本例怎样算:假设 8 个逻辑 CPU 在 1 秒内合计 8 CPU·秒,其中用户态/内核执行等占 3、idle 占 4、iowait 占 1,则按本例“执行态占比”定义为 3/8=37.5%。iowait 与虚拟机 steal 单列,不算本例执行;某些工具的 1−idle 口径不同,读取前先核对。guest 时间已含在相应 user/nice 中,汇总时不要重复加。
- Linux load 的口径:通常显示 1、5、15 分钟的指数平滑平均,统计运行/可运行任务以及不可中断等待任务;不是三个精确矩形时间窗的算术平均,也不是“CPU 忙百分比”。不可中断等待常与 I/O 有关,但不能把所有 D 状态都直接归为同一种磁盘问题。
- 高 load 不必然高 CPU:教学设长期稳定有 2 个可运行的纯计算任务、14 个计入 load 的不可中断等待任务;load 可趋近 16,但若只有那 2 个任务持续各占 1 个逻辑 CPU,8 CPU 整机执行占比约 25%。这是状态假设,load 不会在任务出现的一瞬间立刻变成 16。
- 下一步看证据:若使用率高且可运行队列长,查解码/预处理等 CPU 热点;若 load 高而执行占比低,查任务等待状态、I/O/网络存储时延和调用栈。再对照本章的业务、框架与服务指标;这些只是候选,不能凭 load 自动决定扩容或诊断故障。
系统边界:以上是 Linux 宿主口径,不是 Windows 通则。容器可能看到宿主 load,却受自己的 CPU 配额/cpuset 限制;不能直接用 load 除以看到的 CPU 数当容量百分比。iowait 计数也有多核归属与可靠性限制,应结合其他证据。
依据:Linux proc_loadavg、proc_stat 时间字段、Linux loadavg 指数平滑实现说明、内核 /proc 文档与 iowait 限制。数字均为教学手算,未采样本机 CPU 或运行规模训练。
- 用户感知延迟 P95/P99
- KV Cache 使用率 ⭐、抢占次数
- 通信/计算重叠率、数据管线吞吐
- NVLink/网络流量、温度、功耗、ECC 计数
🔑 诊断的正确方向是【从上往下】: 先看业务指标异常,再逐层下钻找原因。 反过来(盯着 GPU 利用率优化)会让你优化一堆不影响业务的东西。
🎯 二、每一层先看哪些信号
| 层 | 第一批要看的指标 | 为什么 |
|---|---|---|
| 业务 | 达标率、每千达标请求成本 | 分别看达到用户目标的比例与交付成本。每百万 token 成本用于解释产出效率。 |
| 服务 | TTFT、TPOT、排队、KV Cache 使用率 | 前两个看体验,队列与缓存压力提供排查方向(第 20 章)。 |
| 框架 | MFU ⭐ | MFU(Model FLOPs Utilization,模型浮点运算利用率)比较估计的有效模型计算和硬件理论峰值。搭配步时和等待才能定位(第 4 章)。 |
| 硬件 | 带宽利用率 ⭐ | 检查该内核是否受数据搬运限制。也要对照算力、实际传输量和时间线(第 3 章)。 |
nvidia-smi的 GPU-Util衡量采样期内至少一个 GPU 内核(kernel)在执行的时间比例。如果一个小内核一直在跑,GPU-Util 也可以很高。判断算力、带宽和用户体验要分别找证据。第 2 章解释了 GPU 内核和并行单元。NVIDIA 字段说明
同一负载,两份五分钟面板
在隔离环境把同一批 1,000 个合规问答请求回放两次。两次使用相同的模型、硬件、请求到达节奏、输入与生成设置,只改批处理配置。A、B 各观察 300 秒,算例中请求均在各自窗口内到达并有终态。沿用第 20 章判定:成功完成、TTFT 不超过 150 ms,多 token 响应的 TPOT 不超过 40 ms/token。下表为教学假设。
| 观测量 | A 基线 | B 新配置 |
|---|---|---|
| 完成 / 超时 / 过载拒绝 | 970 / 20 / 10 | 920 / 55 / 25 |
| 达标数 / 合规到达数 | 950 / 1,000 95% | 800 / 1,000 80% |
| 可见输出吞吐(token/s) | 1,000 | 1,200 |
| 客户端 TTFT P95 | 120 ms | 210 ms |
| 客户端 TPOT P95 | 31 ms/token | 33 ms/token |
| 网关排队 P95 | 15 ms | 95 ms |
| GPU-Util 窗口平均 | 86% | 96% |
每个 P95 用该指标有有效观测的请求计算。没有首 token 的请求没有 TTFT 样本,超时、过载拒绝仍进入合规请求分母。两窗分别输出 300,000 和 360,000 个 token,各除以 300 秒得 1,000 和 1,200 token/s。B 多输出 200 token/s,达标吞吐却从 950 ÷ 300 ≈ 3.17 降到 800 ÷ 300 ≈ 2.67 请求/s。排队和 TTFT 同时上升,值得先查等待。两个 P95 来自各自的分布,不能相减来推算其余阶段耗时。
从面板的变化找到一条慢请求
| 信号 | 这次要找什么 |
|---|---|
| 指标(Metrics) | 用窗口内的计数和耗时分布找出受影响的路由或模型版本。看达标率、排队和 TTFT。 |
| 日志(Logs) | 查带有时间、请求标识、模型版本、终态和原因的结构化事件。区分排队超时与生成中断。对本例成功但慢的请求,日志可写 status=completed 并关联 trace_id。 |
| 追踪(Trace) | 把同一请求的网关、队列和引擎工作串起来。每段记录一个操作及其耗时,称为 span。各段通过同一 trace_id 关联。 |
窗口 B 的一条请求:从发送到生成
算例时钟已对齐,四段沿同一串行路径。实际用客户端的单调时钟量 TTFT,各服务在本地量阶段时长,再用追踪串联。发生重叠时要检查关键路径,不可把跨机器时间戳直接相减或把重叠的 span 相加。
下一次验证。这条样本说明它主要等在队列里。再查一批慢请求,按模型版本和长度分组,检查批处理、可用槽位和 KV 抢占。在同样负载下只改一个批处理参数,比较排队、达标率和可见吞吐。如果排队下降但达标率没有恢复,继续查其他阶段。告警按服务的达标目标和观察窗口设计,面板单项升高用于下钻。合并副本的 P95 时,应先汇总同口径的直方图数据再估计,不能把各副本的 P95 做平均。
延伸阅读 OpenTelemetry 信号、追踪与 span、Prometheus 直方图、Google SRE 的 SLO 告警。指标标签用模型版本、终态等有限取值,逐请求标识放日志和追踪。
下面仍用训练场景说明框架层怎么记数据。损失、梯度范数、学习率和步时要放在同一训练步或采样窗口里。示例依赖你的训练循环,仅展示字段。
# 🧩 骨架:`loss` 来自你自己的代码,这一段只看写法
# ⭐ 训练时该记的最小指标集
import torch
metrics = {
"loss": loss.item(),
"grad_norm": gn.item(),
"lr": sched.get_last_lr()[0],
"mfu": compute_mfu(tokens_per_sec), # 第 4 章
"step_time_ms": dt * 1000,
"data_wait_ms": data_wait * 1000, # ⭐ 数据等待时间
"mem_alloc_gb": torch.cuda.max_memory_allocated() / 1e9,
"mem_reserved_gb": torch.cuda.max_memory_reserved() / 1e9, # ⭐ 差值含未使用缓存,不直接等于碎片
"tokens_seen": total_tokens,
}
💰 三、成本模型:钱花在哪
两次训练如果使用同一个模型、数据和 GPU,为什么效率变化会影响总账单?先估算训练需要多少次浮点运算,再除以每秒能做多少次。得到秒数之后,才能换成计费小时。
原示例:从训练计算量算到 GPU 账单
用前面章节的稠密 Transformer 粗算 6 × N × D。N 是参数个数,D 是训练处理的 token 总数。7×10⁹ 个参数与 10¹² 个 token 对应约 6 × 7×10⁹ × 10¹² = 4.2×10²² 次浮点运算。这是近似模型。
每卡理论峰值 312 TFLOP/s,即每秒 312×10¹² 次浮点运算。按 MFU 45% 估算,每卡有效速率为 312×10¹² × 0.45 = 1.404×10¹⁴ 次/秒。64 卡总计 8.9856×10¹⁵ 次/秒。
所需时间约 4.2×10²² ÷ 8.9856×10¹⁵ ≈ 4,674,145 秒 ≈ 1,298.37 小时(约 54 天)。按每卡每小时 2 美元,乘回 64 张卡和单价,约 166,192 美元。
MFU 换成 25% 后,每卡有效速率是 312×10¹² × 0.25 = 7.8×10¹³ 次/秒,64 卡合计 4.992×10¹⁵ 次/秒。4.2×10²² 除以该速率约 8,413,462 秒。再除以 3,600 得 2,337.07 小时(约 97 天),乘 64 × 2 得约 299,145 美元。
下方程序依次计算运算量、训练秒数与费用。在训练量、卡数、峰值和单价相同的模型里,时间与费用都随 1/MFU 变化。把 25% 提到 45%,费用变为原来的 25 ÷ 45 ≈ 55.6%。这笔账只含 GPU 时价,输入数字均为教学假设。
def training_cost(params_B, tokens_T, n_gpus, mfu,
peak_tflops=312, hourly=2.0):
flops = 6 * params_B * 1e9 * tokens_T * 1e12
seconds = flops / (n_gpus * peak_tflops * 1e12 * mfu)
return seconds / 3600 * n_gpus * hourly, seconds / 86400
cost, days = training_cost(7, 1.0, 64, 0.45)
print(f"MFU 45%: ${cost:,.0f},{days:.0f} 天") # $166,192,54 天(仅 GPU,假定每卡 $2/小时)
cost, days = training_cost(7, 1.0, 64, 0.25)
print(f"MFU 25%: ${cost:,.0f},{days:.0f} 天") # $299,145,97 天(仅 GPU,假定每卡 $2/小时) ⭐ 多花 80%
推理成本的三个杠杆
回到 A、B 两个推理窗口。按窗口内占用的 GPU 计费,即使显卡有空闲也收费。两张卡各占 5 分钟,每卡每小时假设 3 美元,则每窗 GPU 成本为 2 × (5 ÷ 60) × 3 = 0.50 美元。两窗入口收到的是同一批请求。为了展示引擎工作量,输入 token 只数实际执行 Prefill 的输入位置,本例禁用前缀复用。部分被拒绝或排队超时的请求没有进入 Prefill。可见输出 token 只数已交付给客户端的内容,包含失败前已经交付的部分,排除未发送的草稿或中间生成。
| 单位成本 | A(美元) | B(美元) |
|---|---|---|
| 每百万已处理输入 token | 0.833 | 0.877 |
| 每百万可见输出 token | 1.667 | 1.389 |
| 每千达标请求 | 0.526 | 0.625 |
公式来自「总费用除以总产出」,再乘单位规模。逐行代入如下,结果的单位都是美元。
- 每百万输入。A:0.50 ÷ 600,000 × 1,000,000 ≈ 0.833。B:0.50 ÷ 570,000 × 1,000,000 ≈ 0.877。
- 每百万输出。A:0.50 ÷ 300,000 × 1,000,000 ≈ 1.667。B:0.50 ÷ 360,000 × 1,000,000 ≈ 1.389。
- 每千达标请求。A:0.50 ÷ 950 × 1,000 ≈ 0.526。B:0.50 ÷ 800 × 1,000 = 0.625。
B 每百万可见输出更便宜,每千达标请求却更贵。超时、拒绝和已完成但超出延迟目标的请求不计入达标数,它们占用的资源成本仍在总费用里。如果一个窗口的达标数为零,单位成本未定义,应把 0.50 美元和零达标数分开报告。
同一笔 GPU 费用被三种分母分别解释,所以三行不能相加。若要做服务总账,还要明确 CPU、内存、网络等费用是否纳入,以及如何把共享开销分给各个服务。例如先按专用副本计费,剩余共享费用按已约定的 GPU 占用时间分摊,再把分摊结果与总账对上。使用外部 API 时还应按实际合同区分输入、输出和缓存计费。
下面用 Python 3 复算表格。cost 是整窗 GPU 费用,count 是这一列计数,unit 是报告规模。输出依次是每百万输入、每百万可见输出和每千达标请求的美元费用。None 表示分母为零,表里不填一个假的零费用。
def unit_cost(cost, count, unit):
return cost / count * unit if count else None
gpu_cost = 2 * (5 / 60) * 3
for window, inputs, outputs, good in [
("A", 600_000, 300_000, 950),
("B", 570_000, 360_000, 800),
]:
rates = [
unit_cost(gpu_cost, inputs, 1_000_000),
unit_cost(gpu_cost, outputs, 1_000_000),
unit_cost(gpu_cost, good, 1_000),
]
print(window, *("—" if rate is None else f"{rate:.3f}" for rate in rates))
输出 A 为 0.833 1.667 0.526,B 为 0.877 1.389 0.625。试把 B 的达标请求数改成 1,000,第三列就变为 0.500 美元。这个改动只演示公式怎样随分母变化。
- 同一硬件交付更多达标请求。量化、连续批处理和换引擎都是候选,用同请求分布检查质量、延迟与达标数。
- 让低峰资源做能延迟的任务。可以把批量推理和评测移到低峰,但先保留突发余量,并测对在线达标率和耗电的影响。
- 降低资源单价。换卡前先核对能否装下模型和缓存,再用同一质量和达标目标测需要多少副本。
需要预测时才用「活跃吞吐 × 活跃时间占比」估算整窗吞吐,前提是停工阶段产出为零、活跃期吞吐代表预期负载。若已用总产出除以窗口时长,就已经包含空闲时间,不要再次乘占比。这里的占比也不能拿 GPU-Util 替代。
🔬 四、profiling 工具链
| 工具 | 用途 |
|---|---|
| PyTorch Profiler ⭐ | 最常用,能看 kernel 时间线和显存(第 4 章) |
| Nsight Systems | 系统级时间线,看通信/计算重叠最好用 ⭐ |
| Nsight Compute | 单个 kernel 的深度分析(算术强度、occupancy) |
| DCGM | 集群级 GPU 监控,Prometheus 集成 |
torch.cuda.memory_viz |
显存快照可视化(第 9 章) |
# ⭐ Nsight Systems:看多卡的通信和计算是否重叠
nsys profile -t cuda,nvtx,nccl -o report python train.py
# 给代码段打标记,在时间线上能看到
import torch.cuda.nvtx as nvtx
with nvtx.range("forward"): out = model(x)
with nvtx.range("backward"): loss.backward()
with nvtx.range("optimizer"): opt.step()
# ⭐ 这样在 Nsight 时间线上能一眼看出各阶段占比
💡 什么时候用 Nsight 而不是 PyTorch Profiler: 当你怀疑通信没有和计算重叠时。 PyTorch Profiler 能看到 nccl kernel 的耗时, 但 Nsight Systems 能直观看到它们在时间线上是并排还是串行的。
🧭 五、一套可复用的优化流程
流程图
🔑 这个流程和 Kaggle 方法论、 ML 基础的调试手册是同构的: 建立基线 → 定位瓶颈 → 单变量实验 → 记录。 领域不同,方法论一样。
📋 六、一张诊断速查表
| 症状 | 先验证的候选原因 | 去哪一章 |
|---|---|---|
| MFU < 20% | 对照步时和取数等待,再用固定随机张量做对照。通信和硬件受限也可能让 MFU 偏低。 | 22 |
| 单卡快、多卡慢 | 通信瓶颈 / 拓扑不对 | 05、14 |
| OOM 但 batch=1 也 OOM | 检查参数状态、激活、工作区和分配器,不能单独定因 | 09、11 |
| 显存看似够却报 OOM | 检查峰值、其他占用与分配快照;碎片只是候选 | 09 |
| 开了 AMP 没变快 | 维度没对齐 / 模型太小 | 06 |
torch.compile 没提速 |
graph break | 07 |
| 推理吞吐低 | 先看负载是否足够,再查 KV Cache 容量、连续批处理和抢占。 | 16、17 |
| 解码速度慢 | 核对访存量和带宽。若证据支持带宽受限,再对照量化和质量。 | 15、18 |
| TPOT 有毛刺 | 对齐长 Prefill、抢占恢复和发送缓冲的时间,再做对照。 | 17 |
| 训练卡死无报错 | AllReduce 挂死 | 10、21 |
| loss 突然尖峰 | 异常数据 / FP16 溢出 | 21、06 |
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 4 章 MFU | 框架层的核心指标 |
| 第 20 章 KV Cache 使用率 | 服务容量诊断的一项信号,和排队及达标率一起看 |
| 第 1 章 先测再优化 | 本章是那句话的完整流程 ⭐ |
| ML 基础第 11 章 | 同构的方法论 |
✅ 检查点
- 四层指标体系是什么?诊断该从哪一层开始?
- 在窗口 B 里,为什么先查排队?应该拿什么证据确认?
- GPU-Util 上升为什么不能证明用户体验变好?
- 如果其他条件固定,训练 MFU 从 25% 提到 50%,只计 GPU 的估算费用怎么变?
- 推理降成本的三个杠杆是什么?B 的 GPU 费用不变,但达标数降至 500 时,每千达标请求要多少?
- 什么时候该用 Nsight Systems 而不是 PyTorch Profiler?
- 优化流程的五步是什么?为什么"只改一件事"?
- MFU 很低时,如何验证是不是数据管线没喂饱?
👀 答案
- 业务层 / 服务层 / 框架层 / 硬件层。诊断应该从上往下——先看业务指标异常再逐层下钻。反过来盯着 GPU 利用率优化会优化一堆不影响业务的东西。
- 窗口 B 的排队 P95 和 TTFT P95 一起上升。查带版本和终态的日志,再按请求追踪观察等待、Prefill 和发送。只改一个参数复测,不根据两个 P95 推断单条请求的阶段耗时。
- GPU-Util 反映采样期里 GPU 上有内核在跑的时间比例。用户体验仍要看首 token、后续间隔和达标率。
- 同一训练量、卡数、峰值和单价下,估算费用乘以 25 ÷ 50 = 0.5。上面的程序比较 25% 与 45%,对应约 299,145 与 166,192 美元,比例是 25 ÷ 45 ≈ 0.556。
- 增加达标产出、利用低峰空闲、降低资源单价。B 的分母若变成 500,则 0.50 ÷ 500 × 1,000 = 1.00 美元/千达标请求。每百万输出的价格不能用来代替这项结果。
- 当你怀疑通信没有和计算重叠时。PyTorch Profiler 能看到 nccl kernel 耗时,但 Nsight Systems 能直观看到它们在时间线上是并排还是串行。
- ①建立基线 ②定位瓶颈 ③只改一件事然后测 ④记录到实验表 ⑤回到②。只改一件事是因为同时改两个你不知道是哪个起作用,也不知道它们有没有互相抵消。
- 先对照取数等待和步时,再临时改用固定的合成张量重复测量。如果等待和步时同时下降,数据管线是更有力的候选。否则继续看通信、内核与测量口径。实验方法见第 22 章。
本节回顾
⚡ 走神救援
先记住这几件事
- 从业务目标向下追踪服务、框架和硬件指标,不因某个利用率好看就认定优化成功。
- 指标圈定异常范围,日志找状态,追踪查阶段。把假设放回同一负载做单变量验证。
- 训练看有效计算与等待。推理要一起报可见输出吞吐、达标率和每千达标请求成本。
- 建立基线、定位瓶颈、只改一项、记录结果,再开始下一轮。
下一节 👉 24-实战与挑战项目.md ⭐