🏠 总目录📚 本教程 06d · 降延迟与指标 ← →

大模型全景导论 / 06d

“更快”说的是首字、逐字,还是服务吞吐?

将投机解码与其他优化放回TTFT/TPOT/吞吐各自分母、时间范围和约束。

  1. 请求发出 → 首 tokenTTFT:从请求到首次输出的等待。
  2. 首 token → 后续 tokenTPOT:后续逐 token 的时间口径。
  3. 服务统计窗口吞吐:窗口内输出量与时间;并发条件另报。
这里只定位三种指标的测量范围,不给速度或收益数值;单请求延迟与并发服务吞吐不能混作同一目标。
📑 本页目录(点开跳转)

06d · 降延迟,以及三个指标怎么权衡

⏱ 26 分钟 | ⭐ 显存和吞吐都够了,用户还是觉得慢的时候看这页


🎯 一句话

先弄清用户在等哪一段,再决定怎么优化。 本页比较投机解码、前缀缓存和调度;TTFT、TPOT、吞吐常有取舍,但不是永远只能改善一个。


⚡ 武器三:投机解码(降低延迟)

有时目标模型一次验证多个候选,比逐个生成更省总时间。它利用的是特定负载下尚有余量的计算能力,不是无条件“白赚”。

  1. 提草稿:小模型或其他提议器先给出若干候选,例如 5 个 token。
  2. 做验证:目标模型在一次前向中计算这些位置的条件概率。
  3. 接受与修正:按接受—拒绝规则保留前缀;拒绝时用修正后的分布采样,再继续。不是简单判断“小模型的词是否与大模型猜的一样”。

看一笔假想时间账:常规平均每个 token 用 10 ms;一次投机轮含草稿和验证共 20 ms,平均接受 3 个草稿 token,再产生 1 个额外 token,相当于 5 ms/token。若同样 20 ms 平均只前进 1 个 token,就反而更慢。

“每步搬 140 GB”只可能对应特定 70B、每参数 2 字节的权重规模,不是所有模型的每步固定搬运量。批处理、精度、KV 访问与硬件都会改变时间账。

投机解码原论文 给出保持目标采样分布的接受规则。正确算法下的分布等价,不等于浮点实现或每次输出逐位相同;实现边界见 vLLM 说明。

变体仍保留:Medusa 多预测头、EAGLE 特征草稿、n-gram 查表。它们的草稿成本与验证方式不同,不能把其中一种的无损或加速结论自动套给全部变体。

与 06b 的分工:速度、显存、服务容量先看本页;输出随机性、复读和采样参数看 06b · 解码策略。

两者会相互影响:解码策略可能改变投机接受率;动态 batch 与数值归约也会影响复现。T=0 本身不构成逐位一致保证。


🧰 其他常用手段

手段 想改善什么 需要核对
GQA/MQA 共享 K/V 头,减少 KV 占用 模型的 Q/KV 头配置;见 Transformer 与 基础设施 16
Prefix Caching 复用相同前缀的计算 共享长度、缓存是否仍在、隔离与计费规则
FlashAttention 减少注意力的显存读写 序列长度、后端、硬件与当前瓶颈
张量并行 跨卡分摊权重和计算 通信开销;放不下也可考虑量化、其他并行或卸载,不是只有这一种方案
算子融合 / CUDA Graph 减少部分执行与启动开销 算子支持、形状变化和实现条件

🚨 Prefix Caching:三种容易损失共享前缀的写法

写法 为什么可能少命中 可以怎样调整
开头插入当前时间 每次变化点太靠前 在语义允许时把动态信息后移
每次重排工具定义 相同工具变成不同 token 序列 使用稳定且符合权限的顺序
最前面写用户或会话 ID 不同用户能共享的前缀变短 区分公共前缀与私有上下文;同一用户仍可能命中

可尝试的顺序:固定系统规则、稳定工具定义、较少变化的资料,然后是会话相关内容、动态信息和当前问题。不要为了缓存把权限信息丢掉或打乱必要的时间关系。

相同前缀按实现中的 token/块匹配,不是“任意一个字符变化就让全部缓存失效”。变化之前的块仍可能复用,用户私有缓存也并不等于“没缓存”。

前缀缓存说明 指出,它主要节约共享前缀的 prefill,不直接缩短后续每个 token 的生成。Agent 保留共同历史时有机会获益;裁剪、摘要、工具变更会改变这个机会。


🎯 三个指标,别只盯一个

指标 读者可以观察什么 不能代替什么
TTFT,首 token 延迟 提交后多久看到第一个 token 整个答案或工具动作的完成时间
TPOT,每输出 token 的时间 后续生成是否流畅 不是每个汉字的固定时间,也不覆盖首 token 前等待
吞吐 单位时间完成的 token 或请求量 必须声明计数口径,不能直接等同于能服务多少用户

批量变大可能提高吞吐,也可能增加排队和生成延迟。 是否发生、发生多少取决于调度、负载与硬件;先测延迟—吞吐曲线,不把它当成永不改变的三角定律。

场景 优先看什么
对话产品 TTFT、流式速度和整个答案的尾延迟一起看
有人在等待的 Agent 工具链与端到端任务延迟,不应因叫 Agent 就只追吞吐
无人等待的离线批处理 截止时间、完成量、成本与质量
代码补全 建议何时完整可用,不能只看 TPOT

流式输出能更早展示部分结果,但不自动降低总生成时长。还要核对答案是否完整、用户是否受打断、审核是否在敏感内容展示前完成。


🔗 想再深一层,去哪一套

去哪 为什么
AI基础设施 19 · 投机解码 ⭐ 武器三的完整展开:接受-拒绝规则、加速比公式、哪些负载可能获益
模型上线之后 18 · 成本与容量 ⭐ 省下来的算力怎么换算成容量:排队、超时、雪崩
智能体工程教程 04 · 上下文工程 Prefix Caching 为什么对 Agent 特别值钱 —— 理解稳定内容与会话变化怎样影响前缀复用
AI全栈 05 · 流式输出 如何接起流式链路,同时处理取消、结束与错误

📦 深挖的话要学什么

下面列出七类瓶颈及相关章节。

判断瓶颈:Roofline 与算术强度

降低存储与计算代价:量化

  • 下一站:AI 基础设施 18 · 量化。
  • 看什么:对称/非对称、per-tensor/per-channel/per-group、离群值、GPTQ 与 AWQ、KV Cache 量化,以及 PTQ 和 QAT。
  • 验收:同时比较业务质量、显存、延迟和吞吐。分组大小、重要权重比例和是否值得 QAT 都不是脱离模型的固定答案。

选择服务引擎

  • 下一站:AI 基础设施 20 · 推理服务化。
  • 看什么:vLLM、SGLang、TensorRT-LLM、TGI 等方案的支持范围与部署条件。
  • 验收:在相同模型、精度、请求长度和并发下比较。不要沿用“引擎固定差 20–50%”这样的通用比例。

调度与显存管理

  • 下一站:AI 基础设施 17 · 连续批处理与 PagedAttention。
  • 看什么:连续批处理、分页管理、分块预填充、prefill/decode 分离。
  • 额外代价:分离部署会增加 KV 传输;对照实际网络与显存带宽,不把“约 1/60”当成所有机器的常数。

让投机解码真正获益

  • 下一站:AI 基础设施 19 · 投机解码。
  • 看什么:接受率、草稿成本、验证开销和草稿长度;再比较 Medusa、EAGLE 与 n-gram 路线。
  • 验收:测同一负载下的总耗时与输出质量。草稿成本低、接受率高是有利因素,不是固定的 1/10 或 0.85 准入线。

把优化换算成产品指标

  • 下一站:服务化 20 的压测部分,与 23 · 可观测性与成本。
  • 看什么:TTFT、TPOT、吞吐与尾延迟;先定服务目标,再画延迟—吞吐曲线。
  • 产出:一张注明模型、硬件、流量与价格口径的压测记录,而不是只有一个“快几倍”。

完成一次部署与压测

  • 下一站:实战项目 24,参数背景见 17 和 20。
  • 操作范围:按当前版本核对分块预填充、前缀缓存与 KV 精度开关;一次只改一个变量。
  • 补环境:容器入门已有 AI 全栈 14;具体引擎仍要对照它的官方安装与兼容性说明。

前置按需补:理解第 2 章的注意力和 KV;部署时再补 Linux/GPU。只看延迟指标,不必先会全部工程工具。


⚖️ 要不要深挖

你的情况 建议
只用 API,量不大 ⛔ 不用。知道 Prefix Caching 会用就行
API 账单开始肉疼 🟡 先做提示词优化和缓存,再考虑自建
数据不能出内网 / 有合规要求 ✅ 必须,配合第 7 章
有稳定的大流量,自建更划算 ✅ 必须,这块直接省真金白银
做 AI 基础设施 / 平台岗 ✅ 核心技能

🔑 我的判断:这块工程性极强、几乎不涉及数学,对有后端背景的人上手很快。 价值判断很简单:看你的账单。如果每月 API 花费还不够租一张 GPU,就别折腾自建。 有明显共享前缀时,可以先小规模试缓存;仍要测质量、命中与实际费用,不能承诺所有场景都值得。


✅ 检查点

  1. 投机解码什么时候能加速,什么时候可能更慢?
  2. 三种前缀写法怎样影响共享?为什么不能笼统说命中率归零?
  3. TTFT、TPOT、吞吐分别观察什么?有人等待的 Agent 应看什么?
  4. 流式输出改变了哪段等待,又没有保证什么?
👀 答案
  1. 只有草稿与验证开销小于省掉的逐 token 工作时才获益;接受率低或原来已充分利用算力时可能更慢。保持目标分布依赖正确的接受与修正规则。
  2. 变化点越靠前,可共享前缀往往越短;工具顺序、时间和身份字段会影响它。变化前的完整块、同一用户的私有缓存仍可能命中。
  3. TTFT 看第一个 token,TPOT 看后续 token 速度,吞吐看单位时间工作量。交互式 Agent 还要看工具与整个任务完成的延迟。
  4. 用户可能更早看到部分结果;它不保证总时长更短,也不自动解决内容审核和最终答案质量。

本节回顾

⚠️ 什么时候回来:你已经知道该优化哪个指标了,但输出本身有问题 —— 一会儿飘一会儿复读、同样的输入两次结果不一样。先检查解码策略,也要排查量化、实现与模型版本变化,从 06b 进去。

⚡ 走神救援

先记住这几件事

  • TTFT 看多久出现首个结果,TPOT 看后续生成速度,吞吐看单位时间完成多少工作。
  • 投机解码与前缀缓存利用可复用的计算,是否有效要结合命中率和负载测量。
  • 先明确产品最在乎哪个指标,再比较优化后的代价与收益。

下一节 👉 06b-解码策略.md

原始资料:prefix_caching(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度