导语：为什么推理优化面试绕不开 Speculative Decoding
大模型推理的主要瓶颈之一是自回归解码：模型必须先生成当前 token，才能继续生成下一个 token。即使 GPU 有很强的并行计算能力，decode 阶段仍然会被一步一步的 token 生成过程限制。
Speculative Decoding 的核心价值是：让一个更小、更快的模型提前生成多个候选 token，再由原始大模型一次性验证这些候选，从而减少大模型串行执行的次数。
它是 LLM 推理优化面试中非常高频的知识点，因为它同时涉及算法、系统、硬件利用率、延迟指标和工程调参。
知识地图：面试需要覆盖哪些点
理解 Speculative Decoding，建议按下面 9 个模块复习：
- 自回归解码瓶颈：为什么一个 token 一个 token 生成会慢。
- Draft Model：为什么需要一个小模型提前预测。
- Target Model：为什么最终仍由大模型保证输出质量。
- 候选 token 窗口：一次草拟多少 token。
- 验证与接受机制：如何接受前缀、拒绝错误候选。
- 接受率与接受长度：为什么它们决定真实加速比。
- 延迟与吞吐指标：ITL、output tokens/s、端到端延迟如何观察。
- 工程调参：draft 选择、batch、QPS、采样策略如何影响收益。
- 高级变体：EAGLE、MTP、Medusa、n-gram、DFlash 等方法的差异。
核心流程：先草稿、再验证、再接受
标准自回归解码中，target model 每次 forward pass 只生成一个 token。Speculative Decoding 把这个流程拆成两个角色：
- Draft model：小而快，负责一次性提出多个候选 token。
- Target model：大而准，负责并行验证候选 token，并决定接受多少。
流程可以概括为：
while not finished:
draft_tokens = draft_model.generate(context, max_tokens=k)
target_logits = target_model.forward(context + draft_tokens)
accepted_tokens = verify_and_accept(target_logits, draft_tokens)
context.extend(accepted_tokens)更具体地说：
- 输入已有上下文。
- draft model 生成 k 个候选 token。
- target model 对「上下文 + 候选 token」做一次并行验证。
- 如果前几个候选 token 符合 target model 的分布，就接受这些 token。
- 一旦某个候选不符合，后续候选会被丢弃。
- 从最新上下文继续下一轮。
为什么它能加速：把串行 decode 变成批量验证
Speculative Decoding 的收益来自两个方面。
第一，它减少了 target model 的串行 decode 步数。原来生成 8 个 token 可能需要 8 次 target model forward pass；如果每轮平均接受 3 个 token，就可以用更少轮次完成相同输出。
第二，它提高了硬件利用率。decode 阶段通常容易受到显存带宽和 KV cache 访问影响，GPU 算力并不总是被充分利用。把多个候选 token 放到一次验证中，可以让目标模型的工作更接近批处理形态。
可以用一个简化公式理解：
有效收益 ≈ 每轮平均接受 token 数 / 每轮额外 draft 成本
这不是严格性能公式，但能解释一个关键事实：如果 draft model 太慢，或者 target model 经常拒绝候选 token，加速效果就会明显下降。
为什么它不等于「小模型替代大模型」
很多候选人在面试中会把 Speculative Decoding 误解为「先用小模型生成，再用大模型润色」。这个理解不准确。
Speculative Decoding 的重点不是让小模型替代大模型，而是让小模型承担低成本预测。最终输出仍然受 target model 控制。
因此，面试中可以这样回答：
Draft model 只是提出候选，target model 才是最终裁判。只要验证和采样过程实现正确，最终输出分布可以与原始 target model 保持一致。它优化的是推理路径，不是改变模型能力边界。
这个回答能同时覆盖算法正确性和工程直觉。
Draft Model 怎么选：小不一定好，准也不一定快
选择 draft model 是工程落地的关键。
一个好的 draft model 需要满足四个条件：
- 足够快：生成候选 token 的开销必须远小于 target model。
- 分布接近：预测结果要经常被 target model 接受。
- tokenizer 兼容：通常要求与 target model 使用相同 tokenizer 和 vocabulary。
- 适配业务数据：在代码、客服、结构化输出等不同场景中，token 可预测性差异很大。
常见误区是只看 draft model 的通用语言能力。实际工程中，更关键的是 draft 延迟和平均接受长度。一个更强但更慢的 draft model，未必比一个简单、快速、接受率尚可的 draft model 更好。
参数调优：num_speculative_tokens 不是越大越好
num_speculative_tokens 表示每轮让 draft model 预测多少个候选 token。
它的影响是双向的：
- 设置太小：每轮最多只能接受很少 token，加速空间有限。
- 设置太大：draft 成本增加，被拒绝后的浪费也增加。
- 最优值：取决于任务类型、采样策略、模型组合和硬件环境。
工程上建议用基准测试决定，而不是直接套固定值。重点观察：
| 指标 | 说明 |
|---|---|
| inter-token latency | 单 token 生成延迟 |
| output tokens per second | 输出吞吐 |
| average accepted length | 平均接受长度 |
| acceptance rate | 接受率 |
| GPU utilization | GPU 利用率 |
| p95 / p99 latency | 长尾延迟 |
如果平均接受长度明显低于候选窗口，说明窗口过大或 draft model 不匹配。
哪些场景适合 Speculative Decoding
Speculative Decoding 更适合下面几类场景：
- 代码补全：局部语法和上下文结构强，token 可预测性较高。
- 结构化生成：JSON、配置文件、表格化内容等输出模式稳定。
- 模板化报告：句式和结构重复度较高。
- 长输出任务：decode 阶段占比高，优化空间更明显。
- 低到中等 QPS 服务：batching 对延迟的掩盖较少，更容易体现 ITL 改善。
不太适合的场景包括：
- 输出非常短，decode 成本占比低。
- 高 QPS 大 batch 已经充分压榨硬件吞吐。
- 高随机采样导致 token 分布分散，接受率低。
- draft model 与 target model 差异过大。
常见变体：从 Draft Model 到 EAGLE、MTP、Medusa、DFlash
除了经典 draft-target 方案，工程系统中还会看到多种变体。
经典 Draft Model
使用一个独立小模型生成候选 token。优点是概念清晰、易理解；缺点是需要额外加载模型，并处理 draft 成本和 tokenizer 兼容问题。
N-gram / Suffix Decoding
不依赖额外小模型，而是利用上下文重复模式生成候选。优点是轻量，适合有重复结构的文本；缺点是泛化能力有限。
EAGLE / EAGLE-3
利用 target model 的中间特征或轻量预测头来生成候选，目标是减少独立 draft model 的成本，并提升接受率。
MTP / Medusa
通过多 token prediction 或多个预测头并行提出候选，减少逐 token 草稿生成的串行成本。
DFlash
DFlash 代表了一个更新方向：用块扩散式 draft 一次并行生成一组候选 token，并通过 KV injection 利用 target model 的上下文表示，降低 draft 成本并提高接受长度。
面试时不需要背所有变体细节，但要说明它们共同解决的问题：降低 draft 成本，提高候选接受率，减少 target model 串行 decode 步数。
面试标准回答模板
如果面试官问：「请解释 Speculative Decoding，以及为什么它能加速 LLM 推理？」
可以按下面结构回答：
Speculative Decoding 是一种推理期优化方法。它用一个小而快的 draft model 先预测多个候选 token，再让原始 target model 在一次 forward pass 中并行验证这些候选。被 target model 接受的 token 会进入最终输出，不匹配的位置之后的候选会被丢弃。
它能加速，是因为标准自回归解码每生成一个 token 都需要一次大模型 forward pass，而 speculative decoding 可以在一轮中接受多个 token，从而减少 target model 的串行 decode 次数。只要验证和采样算法正确，最终输出仍由 target model 决定，因此可以保持与原模型一致的输出分布。
真实收益主要取决于 draft model 的延迟、候选 token 的接受率、平均接受长度、num_speculative_tokens、采样策略、batching 和硬件利用率。它更适合 decode-heavy、输出较长、token 可预测性较高、低到中等 QPS 的推理服务。
工程落地 Checklist
落地前可以按下面清单检查：
- 确认场景：是否是 decode-heavy，而不是 prefill-heavy。
- 确认指标：关注 ITL、output TPS、p95/p99 latency，而不是只看平均速度。
- 选择 draft：比较不同 draft model 的延迟和接受长度。
- 调窗口大小：对 num_speculative_tokens 做网格测试。
- 控制变量：固定 batch、采样参数、输入长度和输出长度。
- 观察退化：检查高 QPS、大 batch、随机采样下是否收益下降。
- 灰度上线：按业务流量逐步放量，保留关闭开关。
- 监控质量：即使算法理论上不改分布，也要监控工程实现、数值误差和系统稳定性。
结论：面试要讲清「机制、边界和调参」
Speculative Decoding 的面试重点不是背定义，而是讲清三件事。
第一，它为什么能加速：用低成本 draft 提前生成候选，再由 target model 批量验证，减少串行 decode。
第二，它为什么不牺牲质量：最终输出仍由 target model 的验证机制控制。
第三，它为什么不是万能优化：真实收益依赖 draft 延迟、接受率、接受长度、QPS、batching、任务类型和硬件环境。
如果能把这三层讲清楚，再补充 EAGLE、MTP、Medusa、DFlash 等方向，就能覆盖大多数 LLM 推理优化面试追问。