AI基础设施 · 15
首字很慢与每字很慢,为什么需要两条排查路径?
一次请求先处理输入前缀,再逐步生成。首字等待、每 token 时间与吞吐要分开观察,不能用同一个平均值代替。
读完能判断:用 Prefill/Decode 工作形状区分 TTFT、TPOT 与并发瓶颈。
📑 本页目录(点开跳转)
15 · 推理和训练是两回事
⏱ 35 分钟 | 🧭 目标:能把训练 step、Prefill 和 Decode 放进三张不同的账本,不再拿一个利用率解释所有问题。
🎯 先看现象:同一张卡,为什么训练快不代表上线快
一张 GPU 训练时每秒能处理很多 token,上线后却可能“第一句话等很久”或“已经出字,但后面一个字一个字地慢”。这不是同一个故障:
⭐ 本章不教一句“训练看算力、推理看带宽”的口号。它只在某些形状下成立。正确做法是:先确认工作形状和指标,再用算力、带宽、容量与通信四本账判断瓶颈。
🔀 一、先把三种工作形状分开
假设一个请求有 10 个输入 token,要生成 9 个输出 token。训练、Prefill(预填充)和 Decode(逐 token 解码)虽然使用同一组模型参数,执行目标却不同:
前向 → 反向 → 更新
保存梯度和优化器状态
建立 KV Cache
准备第一个输出
每轮为每个活跃请求新增 1 token
读取历史 KV
| 比较项 | 训练 | Prefill | Decode |
|---|---|---|---|
| 目标 | 降低损失并更新参数 | 处理输入上下文 | 生成下一个 token |
| 主要计算 | 前向 + 反向 + 更新 | 多 token 的前向 | 每轮新增 1 token 的前向 |
| 常见矩阵形状 | 矩阵 × 矩阵 | 矩阵 × 矩阵 | 低 batch 时接近矩阵 × 向量;并发增加后形状会变 |
| 长期保存 | 参数、梯度、优化器状态;反向所需激活 | 参数、KV Cache;另有临时工作区 | |
| 可能瓶颈 | 计算、通信、数据供给或显存 | 计算、注意力、排队或调度 | 权重/KV 搬运、计算、通信或调度 |
⚠️ “Prefill 一定算力受限、Decode 一定带宽受限”不是定理。模型结构、batch、上下文长度、量化方式、内核、并行和硬件都会改变结论。低 batch、权重搬运占主导的稠密模型 Decode,才是下面心算式最适合的场景。
🧮 二、带条件的 Decode 搬运账
先只研究一个简化案例:稠密 7B 模型使用 BF16 权重,权重大小记为 W=14 GB;设备可持续显存带宽记为 β=2 TB/s=2000 GB/s;batch 记为 B。假设每轮 Decode 都要从 HBM 流过一次主要权重,而且权重搬运是主导成本。
权重搬运给出的时间下界和吞吐上界是:
$$t_{weight}\ge \frac{W}{\beta},\qquad R_{token}\le \frac{\beta B}{W}$$
t_weight:一轮权重搬运至少需要的秒数。R_token:只考虑权重带宽时,所有并发请求合计的 token/s 上界。W与β必须使用相同的十进制 GB 单位;若用 GiB,也要两边一起换。
完整代入:这个结果不是实测速度
batch=1:t_weight ≥ 14 GB ÷ 2000 GB/s = 0.007 s = 7 ms
所以 R_token ≤ 1 ÷ 0.007 ≈ 142.9 token/s
batch=8 的理想上界:R_token ≤ 2000×8÷14 ≈ 1142.9 token/s
⚠️ 1142.9 不是性能承诺。KV 读写、算子计算、采样、通信和调度都会让实际值更低;权重留在缓存或被分片时,模型也不再符合这本单卡简账。
为什么低 batch 时常显得“算力没吃满”?算术强度 I 定义为计算量 F 除以从慢存储搬运的字节数 M:
$$I=\frac{F}{M}\quad (\mathrm{FLOP/byte})$$
如果一次 token 的主要线性层约对 7B 个权重各做一次乘加,按一次乘加约 2 FLOP 计,则 F≈14×10⁹ FLOP;BF16 权重约 M≈14×10⁹ byte,所以 I≈1 FLOP/byte。这只是权重主导、batch=1 的近似,不是所有 Decode 的固定数值。
📦 三、批处理为什么有用,又为什么不能无限加
当 B 个活跃请求一起 Decode 时,一轮权重读取可服务多个 token,权重搬运成本被摊薄。但它不是“batch=8 就必然快 8 倍”:计算量、KV 读写、调度开销和尾部空槽也同时增加。
KV Cache 的容量账
对使用 KV 头的 Transformer,缓存容量可写成:
$$M_{KV}=2\,L\,B\,T\,H_{kv}\,d_{head}\,s$$
2:K 和 V 两份缓存。L:层数;B:并发请求数;T:这里为每个请求采用的相同缓存长度。H_kv:KV 头数;d_head:每个头的维度;s:每个元素的字节数。- 混合长度请求不能直接用一个最大
T代替实际长度总和;第 16 章会给出精确公式。
完整代入:GQA 配置
L=32,B=8,T=2048,H_kv=8,d_head=128,BF16 所以 s=2 byte
M_KV=2×32×8×2048×8×128×2
=2,147,483,648 byte = 2 GiB
若其余条件不变、H_kv 从 8 变成 32,容量变为 8 GiB。这里比较的是指定配置,不代表所有 7B 模型。
⭐ 批处理的上限不只由 KV Cache 决定。可用显存、延迟 SLO、请求长度分布、调度公平性、计算能力与通信都会限制 batch。连续批处理和 PagedAttention 的任务,是减少空槽与碎片,不是让容量约束消失。
📊 四、训练指标和推理指标不能混用
| 指标 | 严格含义 | 不能替代什么 |
|---|---|---|
| 训练 step time | 一个训练 step 从开始到完成的时间 | 不能说明用户首字等待 |
| 训练吞吐 | 每 step 训练 token 数 ÷ step time | 不能与在线输出 token/s 直接比较 |
| MFU | 训练窗口内估算的有效模型 FLOP ÷ 峰值 FLOP | 不是推理请求体验指标 |
| TTFT | 请求到达至第一个输出 token 可见;含排队、Prefill、首次采样和传输 | 不能表示后续生成节奏 |
| TPOT / ITL | 首 token 之后,相邻输出 token 的平均间隔;只有一个输出 token 时不定义 | 不能表示排队和 Prefill |
| 输出吞吐 | 所有完成请求在观测窗口内生成的输出 token ÷ 窗口秒数 | 不能代替请求/s、输入吞吐或单请求 TPOT |
完整代入:TTFT 与 TPOT
输出 token 数 N=9,TTFT=180 ms,首 token 之后平均 TPOT=35 ms
E2E≈TTFT+(N−1)×TPOT
=180+8×35=460 ms
TTFT 占 180÷460≈39.1%;后续间隔占约 60.9%。换成长输出或短输出,占比都会改变。
完整代入:训练 token/s
全局 batch=32 条序列,每条 2048 token,step time=2.0 s
每 step token 数=32×2048=65,536
训练吞吐=65,536÷2.0=32,768 token/s
这个数包含训练序列中的 token,并对应前向、反向与更新;不能拿它和在线服务“输出 token/s”判断谁更快。
⚠️ 平均值也不够。线上至少要按相同输入/输出长度分桶,观察 TTFT、TPOT、端到端延迟和达标率的分位数;否则少量长请求会被一个“平均 200 ms”藏起来。
🧠 五、显存与并行:两边保存的东西不同
| 资源 | 训练为什么需要 | 推理为什么需要 |
|---|---|---|
| 参数 | 前向、反向和更新 | 前向生成 |
| 梯度 | 告诉优化器如何更新 | 通常没有反向,因此不保存 |
| 优化器状态 | 如 Adam 的一阶、二阶动量 | 通常没有参数更新,因此不保存 |
| 激活 | 反向传播需要,可能做重计算 | Prefill/Decode 有临时激活,但不为反向长期保存 |
| KV Cache | 普通训练不作为跨 step 的服务状态保存 | 自回归生成需要复用历史 K/V |
因此优化手段不能按名字搬运:
- 梯度检查点节省训练激活,代价是反向时重算;没有反向的普通推理不靠它解决 KV 容量。
- ZeRO/FSDP分片训练模型状态;推理侧也能分片权重,但目标、通信时机和调度约束不同。
- 张量并行可让单卡放不下的模型运行,也可能降低某些计算时间;跨卡通信会增加,是否降低 TTFT/TPOT 必须实测。
- 量化可能减少权重或 KV 的字节数,但速度、精度和内核支持都不是自动保证。
🧭 六、先量测,再选择优化手段
不要背固定顺序,走完这六步
| 看到的现象 | 先验证 | 不要直接下的结论 |
|---|---|---|
| TTFT 高 | 排队、输入长度、Prefill 内核、首次加载与网络 | “一定要换更强 GPU” |
| TPOT 高 | 活跃 batch、权重/KV 带宽、通信、调度和采样 | “一定是带宽,而且只看利用率” |
| 吞吐低 | 请求到达是否足够、batch、空槽、容量与 SLO | “把 batch 调到最大就好” |
| 前缀缓存命中 | 命中长度、剩余 Prefill、查找/复制开销与版本支持 | “Prefill 成本接近零” |
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 batch=1 矩阵乘算术强度 ~1(BF16、权重主导) | 低 batch、权重搬运占主导时的简化账 |
| 第 4 章 带宽 ÷ 模型大小 | 用 Roofline 判断计算或带宽上界,不能把心算式当实测 |
| 第 16 章 KV Cache | 精确的 KV 容量公式、混合长度与部署边界 |
| 第 17 章 连续批处理 | 动态请求下的批处理 |
| 第 18 章 量化 | 权重/KV 量化的公式、误差与内核边界 |
| 《大模型全景导论》06 推理优化 先理解瓶颈在哪:两个阶段 | 同一件事的一页纸版;本章补上带条件的权重搬运、KV 与指标账 |
| 《模型上线之后》18 成本与容量 LLM 服务的成本结构 | Prefill/Decode 拆分解释成本差异,但价格还受缓存、批处理和供应商策略影响 |
| 《智能体工程教程》16 企业落地与生产化 算账的三条口诀 | Agent 多轮调用需分别累计输入、输出、工具等待和失败重试,不能只记 Decode |
✅ 检查点
- 训练 step、Prefill、Decode 的目标和长期保存状态分别是什么?
- 为什么不能说 Prefill 必然算力受限、Decode 必然带宽受限?
- 在权重搬运主导的简化模型中,
W/β和βB/W分别是什么? - 7B BF16、2 TB/s、batch=1 的权重搬运时间下界和吞吐上界是多少?为什么不是实测承诺?
- 写出 KV Cache 容量公式,并解释每个变量。
- N=9、TTFT=180 ms、TPOT=35 ms 时,端到端延迟是多少?
- 训练吞吐和推理输出吞吐为什么不能直接比较?
- DDP/ZeRO、梯度检查点和张量并行在训练与推理侧分别解决什么问题?
- 看到 TTFT 高、TPOT 高时,第一批排查项为什么不同?
- 为什么前缀缓存命中也不能声称 Prefill 成本归零?
👀 答案
- 训练要更新参数,保存梯度、优化器状态与反向所需激活;Prefill 并行处理输入并建立 KV;Decode 每轮为活跃请求新增 token 并复用历史 KV。
- 因为瓶颈还取决于模型结构、batch、长度、量化、内核、并行、硬件与调度。两句话只是常见形状,不是定理。
W/β是一轮权重搬运的时间下界;βB/W是只考虑权重带宽时的合计 token/s 上界。W 与 β 要使用一致单位。14÷2000=0.007 s=7 ms,上界约142.9 token/s。它忽略 KV、计算、采样、通信和调度,因此不是实测承诺。M_KV=2LBTH_kv d_head s;2 是 K/V,L 层数,B 并发,T 缓存长度,H_kv 为 KV 头数,d_head 为头维度,s 为元素字节数。180+(9−1)×35=460 ms。其中 TTFT 占约 39.1%,换负载后占比会改变。- 训练吞吐对应前向、反向、更新中的训练 token;推理输出吞吐只计服务生成的输出 token,工作量、分母和业务含义都不同。
- DDP/ZeRO 分片或同步训练状态;梯度检查点用重算换训练激活;推理张量并行分片权重/计算,但会引入通信。名称相同也要重算目标和代价。
- TTFT 要先查排队、输入长度、Prefill、冷启动和网络;TPOT 要查活跃 batch、权重/KV 搬运、通信、调度与采样。
- 缓存只省命中的前缀计算;仍有查找/复制、未命中后缀、Decode 和调度开销,还受引擎版本与缓存策略限制。
本节回顾
⚡ 走神救援
⭐⭐ 先分三张账:训练 step;Prefill/TTFT;Decode/TPOT。它们的工作量、保存状态和验收指标不同。
⭐ 权重搬运心算式有前提:只有在低 batch、稠密模型、权重流量占主导时,
W/β和βB/W才是有用的下界/上界;不是实测性能,也不是“算力完全无关”。⭐ 批处理会摊薄权重读取,但不会免费:KV、计算、调度、通信和单请求延迟一起增长。KV 公式必须带上 L、B、T、H_kv、d_head 和 dtype。
⭐ 指标不要串台:训练 token/s 与推理输出 token/s 不同;TTFT 不含后续节奏,TPOT 不含排队和 Prefill;端到端占比随输出长度改变。
⭐ 不要背固定优化顺序:先固定负载与 SLO,再定位计算、带宽、容量、通信或调度约束,一次改一个变量并用同一负载复测。
下一节 👉 16-KV-Cache.md ⭐
条件与依据
本章所有数值都是带条件的教学账本。TTFT 含排队、Prefill、首次采样和传输;平均 TPOT 用首尾 token 间隔除以 N−1,N=1 时不定义。权重带宽上界假设主要权重每轮从 HBM 流过且权重搬运占主导;量化、批处理、并行或缓存收益必须在同一模型、引擎版本、硬件和请求分布下复测。