06d · 降延迟,以及三个指标怎么权衡
⏱ 26 分钟 | ⭐ 显存和吞吐都够了,用户还是觉得慢的时候看这页
🎯 一句话
先弄清用户在等哪一段,再决定怎么优化。 本页比较投机解码、前缀缓存和调度;TTFT、TPOT、吞吐常有取舍,但不是永远只能改善一个。
⚡ 武器三:投机解码(降低延迟)
有时目标模型一次验证多个候选,比逐个生成更省总时间。它利用的是特定负载下尚有余量的计算能力,不是无条件“白赚”。
- 提草稿:小模型或其他提议器先给出若干候选,例如 5 个 token。
- 做验证:目标模型在一次前向中计算这些位置的条件概率。
- 接受与修正:按接受—拒绝规则保留前缀;拒绝时用修正后的分布采样,再继续。不是简单判断“小模型的词是否与大模型猜的一样”。
看一笔假想时间账:常规平均每个 token 用 10 ms;一次投机轮含草稿和验证共 20 ms,平均接受 3 个草稿 token,再产生 1 个额外 token,相当于 5 ms/token。若同样 20 ms 平均只前进 1 个 token,就反而更慢。
“每步搬 140 GB”只可能对应特定 70B、每参数 2 字节的权重规模,不是所有模型的每步固定搬运量。批处理、精度、KV 访问与硬件都会改变时间账。
投机解码原论文 给出保持目标采样分布的接受规则。正确算法下的分布等价,不等于浮点实现或每次输出逐位相同;实现边界见 vLLM 说明。
变体仍保留:Medusa 多预测头、EAGLE 特征草稿、n-gram 查表。它们的草稿成本与验证方式不同,不能把其中一种的无损或加速结论自动套给全部变体。
与 06b 的分工:速度、显存、服务容量先看本页;输出随机性、复读和采样参数看 06b · 解码策略。
两者会相互影响:解码策略可能改变投机接受率;动态 batch 与数值归约也会影响复现。T=0 本身不构成逐位一致保证。
🧰 其他常用手段
| 手段 | 想改善什么 | 需要核对 |
|---|---|---|
| GQA/MQA | 共享 K/V 头,减少 KV 占用 | 模型的 Q/KV 头配置;见 Transformer 与 基础设施 16 |
| Prefix Caching | 复用相同前缀的计算 | 共享长度、缓存是否仍在、隔离与计费规则 |
| FlashAttention | 减少注意力的显存读写 | 序列长度、后端、硬件与当前瓶颈 |
| 张量并行 | 跨卡分摊权重和计算 | 通信开销;放不下也可考虑量化、其他并行或卸载,不是只有这一种方案 |
| 算子融合 / CUDA Graph | 减少部分执行与启动开销 | 算子支持、形状变化和实现条件 |
🚨 Prefix Caching:三种容易损失共享前缀的写法
| 写法 | 为什么可能少命中 | 可以怎样调整 |
|---|---|---|
| 开头插入当前时间 | 每次变化点太靠前 | 在语义允许时把动态信息后移 |
| 每次重排工具定义 | 相同工具变成不同 token 序列 | 使用稳定且符合权限的顺序 |
| 最前面写用户或会话 ID | 不同用户能共享的前缀变短 | 区分公共前缀与私有上下文;同一用户仍可能命中 |
可尝试的顺序:固定系统规则、稳定工具定义、较少变化的资料,然后是会话相关内容、动态信息和当前问题。不要为了缓存把权限信息丢掉或打乱必要的时间关系。
相同前缀按实现中的 token/块匹配,不是“任意一个字符变化就让全部缓存失效”。变化之前的块仍可能复用,用户私有缓存也并不等于“没缓存”。
前缀缓存说明 指出,它主要节约共享前缀的 prefill,不直接缩短后续每个 token 的生成。Agent 保留共同历史时有机会获益;裁剪、摘要、工具变更会改变这个机会。
🎯 三个指标,别只盯一个
| 指标 | 读者可以观察什么 | 不能代替什么 |
|---|---|---|
| TTFT,首 token 延迟 | 提交后多久看到第一个 token | 整个答案或工具动作的完成时间 |
| TPOT,每输出 token 的时间 | 后续生成是否流畅 | 不是每个汉字的固定时间,也不覆盖首 token 前等待 |
| 吞吐 | 单位时间完成的 token 或请求量 | 必须声明计数口径,不能直接等同于能服务多少用户 |
批量变大可能提高吞吐,也可能增加排队和生成延迟。 是否发生、发生多少取决于调度、负载与硬件;先测延迟—吞吐曲线,不把它当成永不改变的三角定律。
| 场景 | 优先看什么 |
|---|---|
| 对话产品 | TTFT、流式速度和整个答案的尾延迟一起看 |
| 有人在等待的 Agent | 工具链与端到端任务延迟,不应因叫 Agent 就只追吞吐 |
| 无人等待的离线批处理 | 截止时间、完成量、成本与质量 |
| 代码补全 | 建议何时完整可用,不能只看 TPOT |
流式输出能更早展示部分结果,但不自动降低总生成时长。还要核对答案是否完整、用户是否受打断、审核是否在敏感内容展示前完成。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| AI基础设施 19 · 投机解码 | ⭐ 武器三的完整展开:接受-拒绝规则、加速比公式、哪些负载可能获益 |
| 模型上线之后 18 · 成本与容量 | ⭐ 省下来的算力怎么换算成容量:排队、超时、雪崩 |
| 智能体工程教程 04 · 上下文工程 | Prefix Caching 为什么对 Agent 特别值钱 —— 理解稳定内容与会话变化怎样影响前缀复用 |
| AI全栈 05 · 流式输出 | 如何接起流式链路,同时处理取消、结束与错误 |
📦 深挖的话要学什么
下面列出七类瓶颈及相关章节。
判断瓶颈:Roofline 与算术强度
- 下一站:AI 基础设施 04 · Roofline 与 MFU,配合 03 · 显存与带宽墙。
- 看什么:计算量与搬运量的比例,以及硬件的算力、带宽上限。
- 带走什么:对当前负载提出瓶颈假设,再用测量验证;不能仅凭“prefill / decode”两个名字断定瓶颈。
降低存储与计算代价:量化
- 下一站:AI 基础设施 18 · 量化。
- 看什么:对称/非对称、per-tensor/per-channel/per-group、离群值、GPTQ 与 AWQ、KV Cache 量化,以及 PTQ 和 QAT。
- 验收:同时比较业务质量、显存、延迟和吞吐。分组大小、重要权重比例和是否值得 QAT 都不是脱离模型的固定答案。
选择服务引擎
- 下一站:AI 基础设施 20 · 推理服务化。
- 看什么:vLLM、SGLang、TensorRT-LLM、TGI 等方案的支持范围与部署条件。
- 验收:在相同模型、精度、请求长度和并发下比较。不要沿用“引擎固定差 20–50%”这样的通用比例。
调度与显存管理
- 下一站:AI 基础设施 17 · 连续批处理与 PagedAttention。
- 看什么:连续批处理、分页管理、分块预填充、prefill/decode 分离。
- 额外代价:分离部署会增加 KV 传输;对照实际网络与显存带宽,不把“约 1/60”当成所有机器的常数。
让投机解码真正获益
- 下一站:AI 基础设施 19 · 投机解码。
- 看什么:接受率、草稿成本、验证开销和草稿长度;再比较 Medusa、EAGLE 与 n-gram 路线。
- 验收:测同一负载下的总耗时与输出质量。草稿成本低、接受率高是有利因素,不是固定的 1/10 或 0.85 准入线。
把优化换算成产品指标
- 下一站:服务化 20 的压测部分,与 23 · 可观测性与成本。
- 看什么:TTFT、TPOT、吞吐与尾延迟;先定服务目标,再画延迟—吞吐曲线。
- 产出:一张注明模型、硬件、流量与价格口径的压测记录,而不是只有一个“快几倍”。
完成一次部署与压测
- 下一站:实战项目 24,参数背景见 17 和 20。
- 操作范围:按当前版本核对分块预填充、前缀缓存与 KV 精度开关;一次只改一个变量。
- 补环境:容器入门已有 AI 全栈 14;具体引擎仍要对照它的官方安装与兼容性说明。
前置按需补:理解第 2 章的注意力和 KV;部署时再补 Linux/GPU。只看延迟指标,不必先会全部工程工具。
⚖️ 要不要深挖
| 你的情况 | 建议 |
|---|---|
| 只用 API,量不大 | ⛔ 不用。知道 Prefix Caching 会用就行 |
| API 账单开始肉疼 | 🟡 先做提示词优化和缓存,再考虑自建 |
| 数据不能出内网 / 有合规要求 | ✅ 必须,配合第 7 章 |
| 有稳定的大流量,自建更划算 | ✅ 必须,这块直接省真金白银 |
| 做 AI 基础设施 / 平台岗 | ✅ 核心技能 |
🔑 我的判断:这块工程性极强、几乎不涉及数学,对有后端背景的人上手很快。 价值判断很简单:看你的账单。如果每月 API 花费还不够租一张 GPU,就别折腾自建。 有明显共享前缀时,可以先小规模试缓存;仍要测质量、命中与实际费用,不能承诺所有场景都值得。
✅ 检查点
- 投机解码什么时候能加速,什么时候可能更慢?
- 三种前缀写法怎样影响共享?为什么不能笼统说命中率归零?
- TTFT、TPOT、吞吐分别观察什么?有人等待的 Agent 应看什么?
- 流式输出改变了哪段等待,又没有保证什么?
👀 答案
- 只有草稿与验证开销小于省掉的逐 token 工作时才获益;接受率低或原来已充分利用算力时可能更慢。保持目标分布依赖正确的接受与修正规则。
- 变化点越靠前,可共享前缀往往越短;工具顺序、时间和身份字段会影响它。变化前的完整块、同一用户的私有缓存仍可能命中。
- TTFT 看第一个 token,TPOT 看后续 token 速度,吞吐看单位时间工作量。交互式 Agent 还要看工具与整个任务完成的延迟。
- 用户可能更早看到部分结果;它不保证总时长更短,也不自动解决内容审核和最终答案质量。
本节回顾
⚠️ 什么时候回来:你已经知道该优化哪个指标了,但输出本身有问题 —— 一会儿飘一会儿复读、同样的输入两次结果不一样。先检查解码策略,也要排查量化、实现与模型版本变化,从 06b 进去。
⚡ 走神救援
先记住这几件事
- TTFT 看多久出现首个结果,TPOT 看后续生成速度,吞吐看单位时间完成多少工作。
- 投机解码与前缀缓存利用可复用的计算,是否有效要结合命中率和负载测量。
- 先明确产品最在乎哪个指标,再比较优化后的代价与收益。
下一节 👉 06b-解码策略.md