🏠 总目录📚 本教程 投机解码 ← →

AI基础设施 · 19

草稿猜错也能省时间,目标输出分布怎样保持?

小模型提出候选,大模型按规则验证。输出分布的说明来自接受拒绝算法,节省多少时间则取决于接受率和验证成本。

读完能判断:分别解释批量验证、接受拒绝规则与端到端成本。

📑 本页目录(点开跳转)

19 · 投机解码

⏱ 34 分钟 | 🎁 用闲置的算力换延迟


🎯 一句话

假设一个补全服务经常生成「今天 天气 很 好」。普通解码时,大模型得先生成「今天」,才能用它接着算「天气」,即使这几个位置很容易猜。投机解码(Speculative Decoding)让便宜的草稿先提出一串候选,再让目标模型一次算出这些位置的验证依据。先前的基础在第 15 章的逐 token 解码。

草稿模型依次提出 4 个候选t1t2t3t4目标模型一次计算各位置的分布✓✓✗—从这里拒绝草稿沿同一条草稿路径算分接受 2 个+ 修正 1 个 = 本轮产出 3 个让小模型先猜,大模型只做「批量验证」重点:第 4 个候选用的是被拒绝的旧前缀它必须丢弃,后续要从修正后的前缀重新生成
目标模型在一次前向中算出验证所需的分数。图中保留前两个候选,在第三处修正。第四个候选依赖旧前缀,即使提前算了分数也一起丢弃。

💡 一、核心思路

为什么能一起算? 普通生成时,下一个位置的输入还没出现。草稿先填好后,目标模型就知道每个候选位置各自假设的前缀,可以在一次前向里算出多个位置的分数。因果注意力保证每个位置只用它之前的 token。

一轮投机解码

  1. 草稿模型从当前已确认文本出发,依次提出四个候选。这里用「今天」「天气」「真」「不错」表示四个示意 token。
  2. 目标模型一次前向计算各位置的条件分布,前缀依次是「已有文本」「已有文本+今天」「已有文本+今天+天气」等。
  3. 假设前两个通过,第三个需要改成「很」。第四个的分数用的是「真」这个旧前缀,这次一起丢弃。
  4. 本轮确认「今天 天气 很」三个 token。下一轮从新前缀继续。若四个全通过,标准算法还能按目标模型在该前缀下的分布再生成一个 token,但到达结束符或生成上限时停止。

为什么有机会更快? 在批量较小、读取模型权重占主要时间时,验证多个位置可以摊薄同一轮的权重读取。前向次数只是次数。候选越多,额外的注意力、缓存读写和验证计算也可能越贵。


🎲 二、怎样保持目标模型的输出

如果目标模型每步总选分数最高的 token,就按它的选择逐个核对,首个分歧处采用目标模型的结果。同一配置下还需要沿用相同的并列处理和停止规则。如果目标模型按概率采样,每次另外抽一个 token 再看两边是否碰巧相同,会改变通过概率。我们需要保留目标模型本来给每个 token 的概率。

设 $x$ 是当前前缀后的一个候选 token。$q(x)$ 是草稿实际抽到 $x$ 的概率,$p(x)$ 是目标模型直接生成 $x$ 的概率,两者均在 $[0,1]$,各自在同一 token 词表上的总和为 1。每检查一个位置,都用同一个已通过的前缀和各自实际应用采样设置后的分布。

先保留重叠部分。 每次从 $q$ 抽到 $x$ 后,以 $a(x)=\min(1,p(x)/q(x))$ 的概率接受。草稿低估了 $x$ 时,这个候选可以全留。草稿高估时,只保留目标模型允许的比例。$q(x)=0$ 的 token 不会被草稿抽到,因此不会拿零当分母。

拒绝时补齐差额。 每个 token 的缺口是 $d(x)=\max(0,p(x)-q(x))$。拒绝后按 $r(x)=d(x)/D$ 抽一个替代 token,其中 $D$ 是整个词表的缺口之和。这样把缺口变成总和为 1 的补采样分布。若 $D=0$,两个分布相等,拒绝分支不会发生。

算一轮: 假设前缀为「今天 天气」,教学用词表只有「真」「很」「还」三个 token。下表用 100 份概率质量记账,每份是 1 个百分点。

草稿过量时拒绝,把概率补给草稿低估的 token
Token草稿 $q$目标 $p$接受后留下还差
真603060 × (30 ÷ 60) = 300
很305030 × 1 = 3050 − 30 = 20
还102010 × 1 = 1020 − 10 = 10

草稿提出「真」时,目标只接受一半。剩余的 $60\times(1-0.5)=30$ 份进入拒绝分支。缺口共 $20+10=30$ 份,因此这个分支以 $20/30=2/3$ 的概率补「很」,以 $10/30=1/3$ 补「还」。乘回分支概率后,两者分别补回 $30\times2/3=20$ 和 $30\times1/3=10$ 份。

最终三项是 $30+0=30$、$30+20=50$、$10+10=20$ 份,正好是目标分布。若拒绝后直接再从原目标分布抽样,「真」还会多拿 $30\times0.30=9$ 份,这就是必须从差额抽样的原因。

📐 为什么每一步都成立

若 $q(x)>0$,接受分支给 $x$ 的概率是 $q(x)a(x)=\min(p(x),q(x))$。若 $q(x)=0$,两边都是 0,因为草稿不会抽到 $x$。拒绝的总概率是 $1-\sum_x\min(p(x),q(x))=D$,其中 $\sum_x$ 表示遍历词表求和。补采样分支给 $x$ 的概率是 $D r(x)=d(x)$。两项相加等于 $p(x)$。逐个位置都在已通过的前缀上按此规则检查,因此整段的序列分布也与逐 token 目标采样一致。

这个保证针对同一目标模型和采样配置的正确实现。两次随机运行可以生成不同句子。量化改变数值表示,可能改变目标模型本身的分数。若两者合用,这里的基准是直接运行同一个量化目标模型。

动手核算。 下面的独立 Python 3 小程序只计算表格,输入是三项草稿和目标的概率份数。kept 取重叠部分,missing 找缺口,Fraction 保留精确分数。输出依次是拒绝概率、拒绝后的分布、最终各 token 的概率份数。

from fractions import Fraction

draft = [60, 30, 10]
target = [30, 50, 20]
kept = [min(q, p) for q, p in zip(draft, target)]
missing = [p - kept_part for p, kept_part in zip(target, kept)]
rejected = sum(missing)
replacement = [Fraction(part, rejected) for part in missing] if rejected else []
result = kept.copy()
for i, prob in enumerate(replacement):
    result[i] += rejected * prob

print("拒绝概率:", Fraction(rejected, 100))
print("拒绝后:", [str(prob) for prob in replacement])
print("最终份数:", [str(part) for part in result])

三行依次给出 3/10、['0', '2/3', '1/3']、['30', '50', '20']。如果把草稿也改成目标的三项概率,拒绝概率为零,补采样列表为空,结果直接沿用保留下来的概率。


📊 三、加速比取决于什么

一次目标前向可能确认多个 token,但草稿、验证和调度都要时间。要判断是否划算,比较产出同样多的 token,两种方法各花多少时间。先看一个长输出、暂不计提前停止的模型。

令 $k$ 为每轮提出的候选个数。若每个位置在前面全通过的条件下,都有相同的通过概率 $\alpha$,那么前两个都通过的概率是 $\alpha\times\alpha=\alpha^2$,依此类推。每多通过一个候选,本轮就多产出一个 token。再加上拒绝时的补采样或全部通过后的额外 token,每轮平均产出 $1+\alpha+\alpha^2+\cdots+\alpha^k$ 个。

设 $t$ 是普通解码生成一个 token 的时间,$d$ 是草稿提出一个 token 的时间,$v$ 是整轮目标验证和其他开销的时间,单位都用毫秒。普通解码需要 $t$ 乘以本轮平均产出,投机解码耗时是 $kd+v$。

$$\text{解码加速比}\approx\frac{t(1+\alpha+\alpha^2+\cdots+\alpha^k)}{kd+v}$$

当 $v$ 约等于 $t$ 时,分子和分母同除以 $t$,就得到原论文简化模型的分母 $1+kc$,其中 $c=d/t$ 是草稿单步相对成本。真实请求的条件通过概率可随位置变化,不能把线上总体接受比例直接代入幂次。

演示假设:普通解码 10 ms/token,草稿 1 ms/token,每轮提出 2 个
对照平均产出普通解码耗时投机解码耗时加速比
通过率 0.8,验证 12 ms1 + 0.8 + 0.8² = 2.442.44 × 10 = 24.4 ms2 × 1 + 12 = 14 ms24.4 ÷ 14 ≈ 1.74
通过率 0.2,验证仍为 12 ms1 + 0.2 + 0.2² = 1.241.24 × 10 = 12.4 ms2 × 1 + 12 = 14 ms12.4 ÷ 14 ≈ 0.89

第一行每轮平均产出足以抵过开销。第二行即使草稿和验证同样快,确认的 token 也太少,因而变慢。这两行只演示解码阶段,首 token 前的处理和排队要在服务层另测。


🧰 四、四种实现方式

方式 草稿从哪来 特点
独立草稿模型 能与目标模型共享 token 定义的轻量模型 经典做法,要额外显存
n-gram / 提示词查找 ⭐ 从输入或已生成文本里找重复片段 无需额外模型,适合输出会复用输入片段的任务
Medusa 给目标模型加几个额外的预测头 不需要独立模型,要微调
EAGLE ⭐ 用轻量网络预测中间特征,再映射成候选 token 需要与目标模型配套的草稿组件

提示词查找(n-gram speculation)先取当前文本末尾的几个连续 token,在输入或已有文本里找相同片段,再拿那次出现后面的 token 当草稿。检索问答、代码编辑或改写若常照录输入,可能更容易找到可用候选。没有匹配就回到普通解码,匹配到了也仍要付出验证开销。

用末尾两个示意 token 查找草稿

先前:今天 天气 很 好←末尾:今天 天气
命中「今天 天气」→提议它先前的后续「很 好」

下面的 vLLM 片段只展示配置。num_speculative_tokens 限定提出多少个候选,prompt_lookup_max 限定查找窗口最长有几个 token。这两个设置在本例恰好都写成 4,分别控制草稿长度和匹配窗口。

# vLLM v0.31 文档的 n-gram 配置形状示例;核对自己安装的版本
# model_path 指向你已有、获准使用且兼容的模型;定义函数不会加载模型
from vllm import LLM
def load_ngram_candidate(model_path):
    return LLM(model=model_path,
               speculative_config={"method": "ngram",
                                   "num_speculative_tokens": 4,
                                   "prompt_lookup_max": 4})
# 仅在需要时调用一次;草稿提议无独立模型,但查找与验证仍有开销

🌳 Medusa 和 EAGLE:不要独立模型的两条路

两者都复用目标模型的中间结果,但提出草稿的方式不同。中间结果也叫隐藏状态(Hidden State),是模型内部表示当前上下文的一组数值。

从目标模型的隐藏状态出发

Medusa:多个预测头→分别预测后面不同位置→把多个候选组成树来验证
EAGLE:轻量草稿网络→结合已选 token 预测下一步特征→映射成 token 候选并验证

Medusa 的预测头可以并行提议多个位置,但后一个头并不知道前一个头实际提出什么。比如先提出「很」或「还」,两个分支可以再各接「好」或「不错」。候选树提供多条路径,树注意力让每个节点只看已确认的前缀与本分支的祖先。树越大,额外验证的节点和所需资源通常也越多。

EAGLE 原版在特征序列上逐步预测。即使已知上一份特征,下一个 token 仍可能因采样而不同。原版草稿网络把前一份特征和已选的 token 一起作为条件,预测目标模型靠近输出层的下一份特征,再借目标模型的输出头把预测特征转成 token 分数。草稿阶段选中的 token 仍要经过目标模型验证。

额外组件、训练与运行开销
做法要准备什么开销从哪里来
独立草稿模型已有兼容小模型时可直接试,无需专门重训单独加载草稿权重和缓存,逐步提议
MedusaMedusa-1 冻结目标模型、训练额外预测头;Medusa-2 还共同调整骨干预测头并行提议,候选树的大小影响验证成本
EAGLE为目标模型准备配套的草稿网络需运行轻量网络来逐步预测特征,还要保存草稿侧状态

两个方案都需要配套模型组件。它们的接受率与草稿成本取决于实现和负载,也要分辨实际采用的验证规则。例如,Medusa 论文还给出了面向生成质量和速度的典型接受方案,不能自动套用本章第二节的精确采样证明。Medusa 原论文 · EAGLE 原论文


⚠️ 五、什么时候【不该】用

用户觉得输出拖沓时,先分清是在等首个 token,还是首个 token 之后出字慢。投机解码主要改变后一段。再区分单个请求的延迟和整台服务每秒处理的 token 数,两者可能向不同方向变化。

观测到的现象可能原因对照什么
一轮通过许多草稿,出字变快较长的候选前缀被保留,摊薄目标前向成本看每轮接受几个和 TPOT(每个后续 token 的平均时间)
经常在第一、第二个位置拒绝后续草稿被丢弃,已付出提议与验证成本比较短草稿、长草稿与关闭时的结果
单请求更快,高并发时排队却变长验证可能与其他请求争用算力或 KV 空间同时比较吞吐、排队和慢请求的延迟分位数

保持目标模型、采样配置、硬件、请求长度分布和并发场景可比,分别测关闭与开启。除了接受情况,还要记录 TTFT(首 token 时间)、TPOT、吞吐和峰值显存,按自己的服务目标做选择。第 20 章的推理服务压测接着演示怎样做这些对照。


🔗 和站内其他章的关系

相关的地方 这里的位置
第 15 章 Decode 的带宽瓶颈 投机解码的物理基础 ⭐
第 15 章 吞吐 vs 延迟权衡 投机解码站在延迟这边
第 1 章 每个优化都是交易 本章是最好的例证 ⭐
第 17 章 批处理 两者可以共用,收益取决于并发和资源开销
《大模型全景导论》06 推理优化 两阶段瓶颈与批处理 从导论的延迟一节回看投机解码与服务指标
《智能体工程教程》11 检索与 RAG 检索结果塞进提示词 若回答复用提示词原文,可以测试提示词查找的收益

✅ 检查点

  1. 四个候选的第三个被拒绝。为什么即使第四个恰好和目标想生成的一样,也不能直接保留?
  2. 把第二节的概率改成草稿 [50, 50, 0]、目标 [30, 50, 20]。被拒绝时补哪个 token?各 token 最后各得几份?
  3. 第三节的第一行保持通过率与草稿耗时不变。整轮验证从 12 ms 增到 24 ms,还能加速吗?
  4. 提示词查找、Medusa 和 EAGLE 分别怎样提出草稿?为什么要同时比较低并发与高并发?
👀 答案
  1. 第四个位置的分布以第三个草稿为前缀。第三个已被替换,需用新前缀重新计算。
  2. 先保留 30、50、0 份。拒绝的 20 份全补给第三个 token,最终是 30、50、20。第三个 token 虽不会被草稿抽到,仍可通过补采样出现。
  3. 平均产出仍是 2.44 个,普通解码要 24.4 ms,投机解码要 $2\times1+24=26$ ms,加速比 $24.4/26\approx0.94$,会变慢。
  4. 提示词查找从重复片段中取后续 token,Medusa 用多个预测头,EAGLE 用轻量网络预测特征。验证会消耗算力和显存,低并发的延迟变化不能替代高并发下的吞吐与排队测量。

本节回顾

⚡ 走神救援

一轮先提出草稿,再让目标模型批量计算验证所需的分数。从头确认草稿,首个拒绝位置换成符合目标规则的 token,旧后缀一起丢掉。

随机采样要做到分布一致,先按比例保留两边重叠的概率,再把拒绝部分补给目标分布缺口。加速则取决于一轮产出多少,以及草稿和验证花了多少时间。

下一节 👉 20-推理服务化.md

条件与依据

经典算法的精确性与简化成本模型见论文第 2、3 节。n-gram 示例展示指定版本的配置写法,具体可用性取决于引擎版本和部署环境。

投机解码原论文 · vLLM v0.31.0 n-gram 文档

打卡记录保存在你的浏览器里,首页能看到总进度