🏠 总目录📚 本教程 推理≠训练 ← →

AI基础设施 · 15

首字很慢与每字很慢,为什么需要两条排查路径?

一次请求先处理输入前缀,再逐步生成。首字等待、每 token 时间与吞吐要分开观察,不能用同一个平均值代替。

读完能判断:用 Prefill/Decode 工作形状区分 TTFT、TPOT 与并发瓶颈。

📑 本页目录(点开跳转)

15 · 推理和训练是两回事

⏱ 35 分钟 | 🧭 目标:能把训练 step、Prefill 和 Decode 放进三张不同的账本,不再拿一个利用率解释所有问题。


🎯 先看现象:同一张卡,为什么训练快不代表上线快

一张 GPU 训练时每秒能处理很多 token,上线后却可能“第一句话等很久”或“已经出字,但后面一个字一个字地慢”。这不是同一个故障:

训练 step 慢
前向 + 反向 + 参数更新
训练吞吐、step time、MFU
第一字慢
排队 + Prefill + 第一次采样
TTFT
后续字慢
逐 token Decode + 调度
TPOT / ITL

⭐ 本章不教一句“训练看算力、推理看带宽”的口号。它只在某些形状下成立。正确做法是:先确认工作形状和指标,再用算力、带宽、容量与通信四本账判断瓶颈。


🔀 一、先把三种工作形状分开

假设一个请求有 10 个输入 token,要生成 9 个输出 token。训练、Prefill(预填充)和 Decode(逐 token 解码)虽然使用同一组模型参数,执行目标却不同:

训练 step处理一批序列
前向 → 反向 → 更新
保存梯度和优化器状态
→
Prefill并行处理 10 个输入 token
建立 KV Cache
准备第一个输出
→
Decode重复 8 次后续解码
每轮为每个活跃请求新增 1 token
读取历史 KV
比较项训练PrefillDecode
目标降低损失并更新参数处理输入上下文生成下一个 token
主要计算前向 + 反向 + 更新多 token 的前向每轮新增 1 token 的前向
常见矩阵形状矩阵 × 矩阵矩阵 × 矩阵低 batch 时接近矩阵 × 向量;并发增加后形状会变
长期保存参数、梯度、优化器状态;反向所需激活参数、KV Cache;另有临时工作区
可能瓶颈计算、通信、数据供给或显存计算、注意力、排队或调度权重/KV 搬运、计算、通信或调度

⚠️ “Prefill 一定算力受限、Decode 一定带宽受限”不是定理。模型结构、batch、上下文长度、量化方式、内核、并行和硬件都会改变结论。低 batch、权重搬运占主导的稠密模型 Decode,才是下面心算式最适合的场景。


🧮 二、带条件的 Decode 搬运账

先只研究一个简化案例:稠密 7B 模型使用 BF16 权重,权重大小记为 W=14 GB;设备可持续显存带宽记为 β=2 TB/s=2000 GB/s;batch 记为 B。假设每轮 Decode 都要从 HBM 流过一次主要权重,而且权重搬运是主导成本。

权重搬运给出的时间下界和吞吐上界是:

$$t_{weight}\ge \frac{W}{\beta},\qquad R_{token}\le \frac{\beta B}{W}$$

完整代入:这个结果不是实测速度

batch=1:t_weight ≥ 14 GB ÷ 2000 GB/s = 0.007 s = 7 ms

所以 R_token ≤ 1 ÷ 0.007 ≈ 142.9 token/s

batch=8 的理想上界:R_token ≤ 2000×8÷14 ≈ 1142.9 token/s

⚠️ 1142.9 不是性能承诺。KV 读写、算子计算、采样、通信和调度都会让实际值更低;权重留在缓存或被分片时,模型也不再符合这本单卡简账。

为什么低 batch 时常显得“算力没吃满”?算术强度 I 定义为计算量 F 除以从慢存储搬运的字节数 M:

$$I=\frac{F}{M}\quad (\mathrm{FLOP/byte})$$

如果一次 token 的主要线性层约对 7B 个权重各做一次乘加,按一次乘加约 2 FLOP 计,则 F≈14×10⁹ FLOP;BF16 权重约 M≈14×10⁹ byte,所以 I≈1 FLOP/byte。这只是权重主导、batch=1 的近似,不是所有 Decode 的固定数值。


📦 三、批处理为什么有用,又为什么不能无限加

当 B 个活跃请求一起 Decode 时,一轮权重读取可服务多个 token,权重搬运成本被摊薄。但它不是“batch=8 就必然快 8 倍”:计算量、KV 读写、调度开销和尾部空槽也同时增加。

KV Cache 的容量账

对使用 KV 头的 Transformer,缓存容量可写成:

$$M_{KV}=2\,L\,B\,T\,H_{kv}\,d_{head}\,s$$

完整代入:GQA 配置

L=32,B=8,T=2048,H_kv=8,d_head=128,BF16 所以 s=2 byte

M_KV=2×32×8×2048×8×128×2

=2,147,483,648 byte = 2 GiB

若其余条件不变、H_kv 从 8 变成 32,容量变为 8 GiB。这里比较的是指定配置,不代表所有 7B 模型。

⭐ 批处理的上限不只由 KV Cache 决定。可用显存、延迟 SLO、请求长度分布、调度公平性、计算能力与通信都会限制 batch。连续批处理和 PagedAttention 的任务,是减少空槽与碎片,不是让容量约束消失。


📊 四、训练指标和推理指标不能混用

指标严格含义不能替代什么
训练 step time一个训练 step 从开始到完成的时间不能说明用户首字等待
训练吞吐每 step 训练 token 数 ÷ step time不能与在线输出 token/s 直接比较
MFU训练窗口内估算的有效模型 FLOP ÷ 峰值 FLOP不是推理请求体验指标
TTFT请求到达至第一个输出 token 可见;含排队、Prefill、首次采样和传输不能表示后续生成节奏
TPOT / ITL首 token 之后,相邻输出 token 的平均间隔;只有一个输出 token 时不定义不能表示排队和 Prefill
输出吞吐所有完成请求在观测窗口内生成的输出 token ÷ 窗口秒数不能代替请求/s、输入吞吐或单请求 TPOT

完整代入:TTFT 与 TPOT

输出 token 数 N=9,TTFT=180 ms,首 token 之后平均 TPOT=35 ms

E2E≈TTFT+(N−1)×TPOT

=180+8×35=460 ms

TTFT 占 180÷460≈39.1%;后续间隔占约 60.9%。换成长输出或短输出,占比都会改变。

完整代入:训练 token/s

全局 batch=32 条序列,每条 2048 token,step time=2.0 s

每 step token 数=32×2048=65,536

训练吞吐=65,536÷2.0=32,768 token/s

这个数包含训练序列中的 token,并对应前向、反向与更新;不能拿它和在线服务“输出 token/s”判断谁更快。

⚠️ 平均值也不够。线上至少要按相同输入/输出长度分桶,观察 TTFT、TPOT、端到端延迟和达标率的分位数;否则少量长请求会被一个“平均 200 ms”藏起来。


🧠 五、显存与并行:两边保存的东西不同

资源训练为什么需要推理为什么需要
参数前向、反向和更新前向生成
梯度告诉优化器如何更新通常没有反向,因此不保存
优化器状态如 Adam 的一阶、二阶动量通常没有参数更新,因此不保存
激活反向传播需要,可能做重计算Prefill/Decode 有临时激活,但不为反向长期保存
KV Cache普通训练不作为跨 step 的服务状态保存自回归生成需要复用历史 K/V

因此优化手段不能按名字搬运:


🧭 六、先量测,再选择优化手段

不要背固定顺序,走完这六步

① 写工作负载→输入/输出长度、并发、到达方式
② 写 SLO→TTFT、TPOT、E2E、达标率与成本
③ 固定基线→模型、引擎、精度、硬件、版本
④ 定位约束→计算 / 带宽 / 容量 / 通信 / 调度
⑤ 一次改一个变量→批处理、量化、缓存、并行或引擎
⑥ 用同一负载复测→收益、退化与失败边界一起记录
看到的现象先验证不要直接下的结论
TTFT 高排队、输入长度、Prefill 内核、首次加载与网络“一定要换更强 GPU”
TPOT 高活跃 batch、权重/KV 带宽、通信、调度和采样“一定是带宽,而且只看利用率”
吞吐低请求到达是否足够、batch、空槽、容量与 SLO“把 batch 调到最大就好”
前缀缓存命中命中长度、剩余 Prefill、查找/复制开销与版本支持“Prefill 成本接近零”

🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 batch=1 矩阵乘算术强度 ~1(BF16、权重主导) 低 batch、权重搬运占主导时的简化账
第 4 章 带宽 ÷ 模型大小 用 Roofline 判断计算或带宽上界,不能把心算式当实测
第 16 章 KV Cache 精确的 KV 容量公式、混合长度与部署边界
第 17 章 连续批处理 动态请求下的批处理
第 18 章 量化 权重/KV 量化的公式、误差与内核边界
《大模型全景导论》06 推理优化 先理解瓶颈在哪:两个阶段 同一件事的一页纸版;本章补上带条件的权重搬运、KV 与指标账
《模型上线之后》18 成本与容量 LLM 服务的成本结构 Prefill/Decode 拆分解释成本差异,但价格还受缓存、批处理和供应商策略影响
《智能体工程教程》16 企业落地与生产化 算账的三条口诀 Agent 多轮调用需分别累计输入、输出、工具等待和失败重试,不能只记 Decode

✅ 检查点

  1. 训练 step、Prefill、Decode 的目标和长期保存状态分别是什么?
  2. 为什么不能说 Prefill 必然算力受限、Decode 必然带宽受限?
  3. 在权重搬运主导的简化模型中,W/β 和 βB/W 分别是什么?
  4. 7B BF16、2 TB/s、batch=1 的权重搬运时间下界和吞吐上界是多少?为什么不是实测承诺?
  5. 写出 KV Cache 容量公式,并解释每个变量。
  6. N=9、TTFT=180 ms、TPOT=35 ms 时,端到端延迟是多少?
  7. 训练吞吐和推理输出吞吐为什么不能直接比较?
  8. DDP/ZeRO、梯度检查点和张量并行在训练与推理侧分别解决什么问题?
  9. 看到 TTFT 高、TPOT 高时,第一批排查项为什么不同?
  10. 为什么前缀缓存命中也不能声称 Prefill 成本归零?
👀 答案
  1. 训练要更新参数,保存梯度、优化器状态与反向所需激活;Prefill 并行处理输入并建立 KV;Decode 每轮为活跃请求新增 token 并复用历史 KV。
  2. 因为瓶颈还取决于模型结构、batch、长度、量化、内核、并行、硬件与调度。两句话只是常见形状,不是定理。
  3. W/β 是一轮权重搬运的时间下界;βB/W 是只考虑权重带宽时的合计 token/s 上界。W 与 β 要使用一致单位。
  4. 14÷2000=0.007 s=7 ms,上界约 142.9 token/s。它忽略 KV、计算、采样、通信和调度,因此不是实测承诺。
  5. M_KV=2LBTH_kv d_head s;2 是 K/V,L 层数,B 并发,T 缓存长度,H_kv 为 KV 头数,d_head 为头维度,s 为元素字节数。
  6. 180+(9−1)×35=460 ms。其中 TTFT 占约 39.1%,换负载后占比会改变。
  7. 训练吞吐对应前向、反向、更新中的训练 token;推理输出吞吐只计服务生成的输出 token,工作量、分母和业务含义都不同。
  8. DDP/ZeRO 分片或同步训练状态;梯度检查点用重算换训练激活;推理张量并行分片权重/计算,但会引入通信。名称相同也要重算目标和代价。
  9. TTFT 要先查排队、输入长度、Prefill、冷启动和网络;TPOT 要查活跃 batch、权重/KV 搬运、通信、调度与采样。
  10. 缓存只省命中的前缀计算;仍有查找/复制、未命中后缀、Decode 和调度开销,还受引擎版本与缓存策略限制。

本节回顾

⚡ 走神救援

⭐⭐ 先分三张账:训练 step;Prefill/TTFT;Decode/TPOT。它们的工作量、保存状态和验收指标不同。

⭐ 权重搬运心算式有前提:只有在低 batch、稠密模型、权重流量占主导时,W/β 和 βB/W 才是有用的下界/上界;不是实测性能,也不是“算力完全无关”。

⭐ 批处理会摊薄权重读取,但不会免费:KV、计算、调度、通信和单请求延迟一起增长。KV 公式必须带上 L、B、T、H_kv、d_head 和 dtype。

⭐ 指标不要串台:训练 token/s 与推理输出 token/s 不同;TTFT 不含后续节奏,TPOT 不含排队和 Prefill;端到端占比随输出长度改变。

⭐ 不要背固定优化顺序:先固定负载与 SLO,再定位计算、带宽、容量、通信或调度约束,一次改一个变量并用同一负载复测。

下一节 👉 16-KV-Cache.md ⭐

条件与依据

本章所有数值都是带条件的教学账本。TTFT 含排队、Prefill、首次采样和传输;平均 TPOT 用首尾 token 间隔除以 N−1,N=1 时不定义。权重带宽上界假设主要权重每轮从 HBM 流过且权重搬运占主导;量化、批处理、并行或缓存收益必须在同一模型、引擎版本、硬件和请求分布下复测。

NVIDIA GPU 性能背景(官方文档) | 站内 Roofline 与 MFU | 站内 KV Cache

打卡记录保存在你的浏览器里,首页能看到总进度