AI基础设施 · 19
草稿猜错也能省时间,目标输出分布怎样保持?
小模型提出候选,大模型按规则验证。输出分布的说明来自接受拒绝算法,节省多少时间则取决于接受率和验证成本。
读完能判断:分别解释批量验证、接受拒绝规则与端到端成本。
📑 本页目录(点开跳转)
19 · 投机解码
⏱ 34 分钟 | 🎁 用闲置的算力换延迟
🎯 一句话
假设一个补全服务经常生成「今天 天气 很 好」。普通解码时,大模型得先生成「今天」,才能用它接着算「天气」,即使这几个位置很容易猜。投机解码(Speculative Decoding)让便宜的草稿先提出一串候选,再让目标模型一次算出这些位置的验证依据。先前的基础在第 15 章的逐 token 解码。
💡 一、核心思路
为什么能一起算? 普通生成时,下一个位置的输入还没出现。草稿先填好后,目标模型就知道每个候选位置各自假设的前缀,可以在一次前向里算出多个位置的分数。因果注意力保证每个位置只用它之前的 token。
一轮投机解码
- 草稿模型从当前已确认文本出发,依次提出四个候选。这里用「今天」「天气」「真」「不错」表示四个示意 token。
- 目标模型一次前向计算各位置的条件分布,前缀依次是「已有文本」「已有文本+今天」「已有文本+今天+天气」等。
- 假设前两个通过,第三个需要改成「很」。第四个的分数用的是「真」这个旧前缀,这次一起丢弃。
- 本轮确认「今天 天气 很」三个 token。下一轮从新前缀继续。若四个全通过,标准算法还能按目标模型在该前缀下的分布再生成一个 token,但到达结束符或生成上限时停止。
为什么有机会更快? 在批量较小、读取模型权重占主要时间时,验证多个位置可以摊薄同一轮的权重读取。前向次数只是次数。候选越多,额外的注意力、缓存读写和验证计算也可能越贵。
🎲 二、怎样保持目标模型的输出
如果目标模型每步总选分数最高的 token,就按它的选择逐个核对,首个分歧处采用目标模型的结果。同一配置下还需要沿用相同的并列处理和停止规则。如果目标模型按概率采样,每次另外抽一个 token 再看两边是否碰巧相同,会改变通过概率。我们需要保留目标模型本来给每个 token 的概率。
设 $x$ 是当前前缀后的一个候选 token。$q(x)$ 是草稿实际抽到 $x$ 的概率,$p(x)$ 是目标模型直接生成 $x$ 的概率,两者均在 $[0,1]$,各自在同一 token 词表上的总和为 1。每检查一个位置,都用同一个已通过的前缀和各自实际应用采样设置后的分布。
先保留重叠部分。 每次从 $q$ 抽到 $x$ 后,以 $a(x)=\min(1,p(x)/q(x))$ 的概率接受。草稿低估了 $x$ 时,这个候选可以全留。草稿高估时,只保留目标模型允许的比例。$q(x)=0$ 的 token 不会被草稿抽到,因此不会拿零当分母。
拒绝时补齐差额。 每个 token 的缺口是 $d(x)=\max(0,p(x)-q(x))$。拒绝后按 $r(x)=d(x)/D$ 抽一个替代 token,其中 $D$ 是整个词表的缺口之和。这样把缺口变成总和为 1 的补采样分布。若 $D=0$,两个分布相等,拒绝分支不会发生。
算一轮: 假设前缀为「今天 天气」,教学用词表只有「真」「很」「还」三个 token。下表用 100 份概率质量记账,每份是 1 个百分点。
| Token | 草稿 $q$ | 目标 $p$ | 接受后留下 | 还差 |
|---|---|---|---|---|
| 真 | 60 | 30 | 60 × (30 ÷ 60) = 30 | 0 |
| 很 | 30 | 50 | 30 × 1 = 30 | 50 − 30 = 20 |
| 还 | 10 | 20 | 10 × 1 = 10 | 20 − 10 = 10 |
草稿提出「真」时,目标只接受一半。剩余的 $60\times(1-0.5)=30$ 份进入拒绝分支。缺口共 $20+10=30$ 份,因此这个分支以 $20/30=2/3$ 的概率补「很」,以 $10/30=1/3$ 补「还」。乘回分支概率后,两者分别补回 $30\times2/3=20$ 和 $30\times1/3=10$ 份。
最终三项是 $30+0=30$、$30+20=50$、$10+10=20$ 份,正好是目标分布。若拒绝后直接再从原目标分布抽样,「真」还会多拿 $30\times0.30=9$ 份,这就是必须从差额抽样的原因。
📐 为什么每一步都成立
若 $q(x)>0$,接受分支给 $x$ 的概率是 $q(x)a(x)=\min(p(x),q(x))$。若 $q(x)=0$,两边都是 0,因为草稿不会抽到 $x$。拒绝的总概率是 $1-\sum_x\min(p(x),q(x))=D$,其中 $\sum_x$ 表示遍历词表求和。补采样分支给 $x$ 的概率是 $D r(x)=d(x)$。两项相加等于 $p(x)$。逐个位置都在已通过的前缀上按此规则检查,因此整段的序列分布也与逐 token 目标采样一致。
这个保证针对同一目标模型和采样配置的正确实现。两次随机运行可以生成不同句子。量化改变数值表示,可能改变目标模型本身的分数。若两者合用,这里的基准是直接运行同一个量化目标模型。
动手核算。 下面的独立 Python 3 小程序只计算表格,输入是三项草稿和目标的概率份数。kept 取重叠部分,missing 找缺口,Fraction 保留精确分数。输出依次是拒绝概率、拒绝后的分布、最终各 token 的概率份数。
from fractions import Fraction
draft = [60, 30, 10]
target = [30, 50, 20]
kept = [min(q, p) for q, p in zip(draft, target)]
missing = [p - kept_part for p, kept_part in zip(target, kept)]
rejected = sum(missing)
replacement = [Fraction(part, rejected) for part in missing] if rejected else []
result = kept.copy()
for i, prob in enumerate(replacement):
result[i] += rejected * prob
print("拒绝概率:", Fraction(rejected, 100))
print("拒绝后:", [str(prob) for prob in replacement])
print("最终份数:", [str(part) for part in result])
三行依次给出 3/10、['0', '2/3', '1/3']、['30', '50', '20']。如果把草稿也改成目标的三项概率,拒绝概率为零,补采样列表为空,结果直接沿用保留下来的概率。
📊 三、加速比取决于什么
一次目标前向可能确认多个 token,但草稿、验证和调度都要时间。要判断是否划算,比较产出同样多的 token,两种方法各花多少时间。先看一个长输出、暂不计提前停止的模型。
令 $k$ 为每轮提出的候选个数。若每个位置在前面全通过的条件下,都有相同的通过概率 $\alpha$,那么前两个都通过的概率是 $\alpha\times\alpha=\alpha^2$,依此类推。每多通过一个候选,本轮就多产出一个 token。再加上拒绝时的补采样或全部通过后的额外 token,每轮平均产出 $1+\alpha+\alpha^2+\cdots+\alpha^k$ 个。
设 $t$ 是普通解码生成一个 token 的时间,$d$ 是草稿提出一个 token 的时间,$v$ 是整轮目标验证和其他开销的时间,单位都用毫秒。普通解码需要 $t$ 乘以本轮平均产出,投机解码耗时是 $kd+v$。
$$\text{解码加速比}\approx\frac{t(1+\alpha+\alpha^2+\cdots+\alpha^k)}{kd+v}$$
当 $v$ 约等于 $t$ 时,分子和分母同除以 $t$,就得到原论文简化模型的分母 $1+kc$,其中 $c=d/t$ 是草稿单步相对成本。真实请求的条件通过概率可随位置变化,不能把线上总体接受比例直接代入幂次。
| 对照 | 平均产出 | 普通解码耗时 | 投机解码耗时 | 加速比 |
|---|---|---|---|---|
| 通过率 0.8,验证 12 ms | 1 + 0.8 + 0.8² = 2.44 | 2.44 × 10 = 24.4 ms | 2 × 1 + 12 = 14 ms | 24.4 ÷ 14 ≈ 1.74 |
| 通过率 0.2,验证仍为 12 ms | 1 + 0.2 + 0.2² = 1.24 | 1.24 × 10 = 12.4 ms | 2 × 1 + 12 = 14 ms | 12.4 ÷ 14 ≈ 0.89 |
第一行每轮平均产出足以抵过开销。第二行即使草稿和验证同样快,确认的 token 也太少,因而变慢。这两行只演示解码阶段,首 token 前的处理和排队要在服务层另测。
🧰 四、四种实现方式
| 方式 | 草稿从哪来 | 特点 |
|---|---|---|
| 独立草稿模型 | 能与目标模型共享 token 定义的轻量模型 | 经典做法,要额外显存 |
| n-gram / 提示词查找 ⭐ | 从输入或已生成文本里找重复片段 | 无需额外模型,适合输出会复用输入片段的任务 |
| Medusa | 给目标模型加几个额外的预测头 | 不需要独立模型,要微调 |
| EAGLE ⭐ | 用轻量网络预测中间特征,再映射成候选 token | 需要与目标模型配套的草稿组件 |
提示词查找(n-gram speculation)先取当前文本末尾的几个连续 token,在输入或已有文本里找相同片段,再拿那次出现后面的 token 当草稿。检索问答、代码编辑或改写若常照录输入,可能更容易找到可用候选。没有匹配就回到普通解码,匹配到了也仍要付出验证开销。
用末尾两个示意 token 查找草稿
下面的 vLLM 片段只展示配置。num_speculative_tokens 限定提出多少个候选,prompt_lookup_max 限定查找窗口最长有几个 token。这两个设置在本例恰好都写成 4,分别控制草稿长度和匹配窗口。
# vLLM v0.31 文档的 n-gram 配置形状示例;核对自己安装的版本
# model_path 指向你已有、获准使用且兼容的模型;定义函数不会加载模型
from vllm import LLM
def load_ngram_candidate(model_path):
return LLM(model=model_path,
speculative_config={"method": "ngram",
"num_speculative_tokens": 4,
"prompt_lookup_max": 4})
# 仅在需要时调用一次;草稿提议无独立模型,但查找与验证仍有开销
🌳 Medusa 和 EAGLE:不要独立模型的两条路
两者都复用目标模型的中间结果,但提出草稿的方式不同。中间结果也叫隐藏状态(Hidden State),是模型内部表示当前上下文的一组数值。
从目标模型的隐藏状态出发
Medusa 的预测头可以并行提议多个位置,但后一个头并不知道前一个头实际提出什么。比如先提出「很」或「还」,两个分支可以再各接「好」或「不错」。候选树提供多条路径,树注意力让每个节点只看已确认的前缀与本分支的祖先。树越大,额外验证的节点和所需资源通常也越多。
EAGLE 原版在特征序列上逐步预测。即使已知上一份特征,下一个 token 仍可能因采样而不同。原版草稿网络把前一份特征和已选的 token 一起作为条件,预测目标模型靠近输出层的下一份特征,再借目标模型的输出头把预测特征转成 token 分数。草稿阶段选中的 token 仍要经过目标模型验证。
| 做法 | 要准备什么 | 开销从哪里来 |
|---|---|---|
| 独立草稿模型 | 已有兼容小模型时可直接试,无需专门重训 | 单独加载草稿权重和缓存,逐步提议 |
| Medusa | Medusa-1 冻结目标模型、训练额外预测头;Medusa-2 还共同调整骨干 | 预测头并行提议,候选树的大小影响验证成本 |
| EAGLE | 为目标模型准备配套的草稿网络 | 需运行轻量网络来逐步预测特征,还要保存草稿侧状态 |
两个方案都需要配套模型组件。它们的接受率与草稿成本取决于实现和负载,也要分辨实际采用的验证规则。例如,Medusa 论文还给出了面向生成质量和速度的典型接受方案,不能自动套用本章第二节的精确采样证明。Medusa 原论文 · EAGLE 原论文
⚠️ 五、什么时候【不该】用
用户觉得输出拖沓时,先分清是在等首个 token,还是首个 token 之后出字慢。投机解码主要改变后一段。再区分单个请求的延迟和整台服务每秒处理的 token 数,两者可能向不同方向变化。
| 观测到的现象 | 可能原因 | 对照什么 |
|---|---|---|
| 一轮通过许多草稿,出字变快 | 较长的候选前缀被保留,摊薄目标前向成本 | 看每轮接受几个和 TPOT(每个后续 token 的平均时间) |
| 经常在第一、第二个位置拒绝 | 后续草稿被丢弃,已付出提议与验证成本 | 比较短草稿、长草稿与关闭时的结果 |
| 单请求更快,高并发时排队却变长 | 验证可能与其他请求争用算力或 KV 空间 | 同时比较吞吐、排队和慢请求的延迟分位数 |
保持目标模型、采样配置、硬件、请求长度分布和并发场景可比,分别测关闭与开启。除了接受情况,还要记录 TTFT(首 token 时间)、TPOT、吞吐和峰值显存,按自己的服务目标做选择。第 20 章的推理服务压测接着演示怎样做这些对照。
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 15 章 Decode 的带宽瓶颈 | 投机解码的物理基础 ⭐ |
| 第 15 章 吞吐 vs 延迟权衡 | 投机解码站在延迟这边 |
| 第 1 章 每个优化都是交易 | 本章是最好的例证 ⭐ |
| 第 17 章 批处理 | 两者可以共用,收益取决于并发和资源开销 |
| 《大模型全景导论》06 推理优化 两阶段瓶颈与批处理 | 从导论的延迟一节回看投机解码与服务指标 |
| 《智能体工程教程》11 检索与 RAG 检索结果塞进提示词 | 若回答复用提示词原文,可以测试提示词查找的收益 |
✅ 检查点
- 四个候选的第三个被拒绝。为什么即使第四个恰好和目标想生成的一样,也不能直接保留?
- 把第二节的概率改成草稿
[50, 50, 0]、目标[30, 50, 20]。被拒绝时补哪个 token?各 token 最后各得几份? - 第三节的第一行保持通过率与草稿耗时不变。整轮验证从 12 ms 增到 24 ms,还能加速吗?
- 提示词查找、Medusa 和 EAGLE 分别怎样提出草稿?为什么要同时比较低并发与高并发?
👀 答案
- 第四个位置的分布以第三个草稿为前缀。第三个已被替换,需用新前缀重新计算。
- 先保留 30、50、0 份。拒绝的 20 份全补给第三个 token,最终是 30、50、20。第三个 token 虽不会被草稿抽到,仍可通过补采样出现。
- 平均产出仍是 2.44 个,普通解码要 24.4 ms,投机解码要 $2\times1+24=26$ ms,加速比 $24.4/26\approx0.94$,会变慢。
- 提示词查找从重复片段中取后续 token,Medusa 用多个预测头,EAGLE 用轻量网络预测特征。验证会消耗算力和显存,低并发的延迟变化不能替代高并发下的吞吐与排队测量。
本节回顾
⚡ 走神救援
一轮先提出草稿,再让目标模型批量计算验证所需的分数。从头确认草稿,首个拒绝位置换成符合目标规则的 token,旧后缀一起丢掉。
随机采样要做到分布一致,先按比例保留两边重叠的概率,再把拒绝部分补给目标分布缺口。加速则取决于一轮产出多少,以及草稿和验证花了多少时间。
下一节 👉 20-推理服务化.md
条件与依据
经典算法的精确性与简化成本模型见论文第 2、3 节。n-gram 示例展示指定版本的配置写法,具体可用性取决于引擎版本和部署环境。