大语言模型的生成过程具有天然的串行性：每得到一个新 Token，才能继续预测下一个 Token。即使 GPU 拥有充足算力，这种逐 Token 解码仍可能受到显存带宽、模型权重读取和串行依赖的限制。推测解码通过“先快速起草、再集中验证”的方式，让一次目标模型计算有机会确认多个 Token，从而提升推理吞吐量。不过，它带来的收益并非固定，也不意味着必须牺牲输出一致性。
推测解码的基本工作方式
典型方案包含一个计算成本较低的草稿模型和一个负责最终输出的目标模型。草稿模型先连续提出若干候选 Token，目标模型随后在一次前向计算中并行评估这些候选，并按照验证规则接受其中的有效前缀。一旦某个候选未通过验证，其后的草稿内容通常会被丢弃，再由目标模型确定正确的后续 Token。
传统自回归解码每轮只能确认一个 Token，而推测解码在草稿质量较高时，一轮可能确认多个 Token。其核心价值不是减少目标模型每次计算的规模，而是减少生成固定长度文本所需的目标模型串行调用次数。相关原始研究将其描述为一种无需修改目标模型结构、即可并行计算多个候选 Token 的方法，具体原理可参见推测解码论文。
它如何影响推理吞吐量
接受率决定有效加速空间
草稿 Token 与目标模型分布越接近，通过验证的候选就越多，单次验证能够提交的 Token 数量也越大。对于格式固定、内容重复、模型置信度较高的生成任务，草稿模型往往更容易预测正确；对于开放式创作、复杂代码或高不确定性推理，候选可能更频繁地被拒绝，实际收益随之下降。
推测长度同样需要权衡。候选过少，无法充分摊薄目标模型调用成本；候选过多，则会增加草稿生成、验证计算、KV Cache 占用以及无效候选浪费。最佳长度通常不是一个适用于所有请求的常数，而应根据接受率、上下文长度、硬件特征和服务负载动态调整。
低并发与高并发的收益不同
推测解码通常更容易改善低至中等请求量下的单请求延迟，特别是目标模型执行受显存带宽限制时。如果在线服务已经通过大批量请求充分利用 GPU，额外引入草稿模型可能与目标模型争夺算力和显存，导致吞吐量提升缩小，甚至出现负收益。vLLM 的官方文档也强调，实际效果取决于模型系列、流量模式、硬件和采样设置。
因此，评估时不能只比较每秒生成 Token 数，还应同时观察首 Token 延迟、Token 间延迟、请求完成时间、并发容量、显存占用和单位 Token 成本。对交互式聊天而言，稳定降低 Token 间延迟可能比追求峰值吞吐量更重要；对离线批处理而言，则应优先判断草稿阶段是否降低了整体设备利用效率。
输出一致性为何可以保持
“推测”并不代表候选可以绕过目标模型。草稿模型只负责提出建议，最终接受哪些 Token 仍由目标模型及验证算法决定。在标准的无损推测采样中，通过恰当的接受与拒绝规则，可以保持与目标模型常规采样相同的概率分布。因此，从理论层面看，草稿模型的预测错误会损失速度，却不必损失生成质量。
这里需要区分“分布一致”和“每次文本逐字一致”。在贪心解码中，如果候选验证、数值精度和并列值处理方式完全一致，通常可以获得相同的 Token 序列。在温度采样、Top-p 或 Top-k 场景中，无损算法保证的是输出分布不变；若随机种子、随机数消耗顺序、批调度或浮点计算路径发生变化，单次运行的具体文本仍可能不同。
工程实现也可能削弱理论保证。例如，直接接受草稿模型结果而不执行完整校正、使用近似阈值替代严格拒绝采样、草稿与目标模型的词表映射不一致，或者不同推理后端采用不同精度与算子，都可能造成可观察的输出偏差。换言之，输出一致性不仅取决于算法名称，还取决于验证流程是否完整、采样参数是否统一以及运行环境是否可复现。
部署时应关注哪些指标
- 平均接受长度：每次目标模型验证最终提交多少个 Token，比单纯的候选接受率更能反映有效进展。
- 草稿成本：统计草稿模型耗时、显存占用和通信开销，确认其确实明显快于目标模型。
- 端到端吞吐量：在真实并发、提示词长度和输出长度分布下测试，而不是只使用短提示的单请求样例。
- 一致性测试：分别验证贪心序列是否一致，以及采样输出在足够多次运行后的统计分布是否合理。
- 拒绝位置分布：如果候选经常在第一个 Token 就被拒绝，应缩短推测长度或更换草稿方法。
草稿模型不一定只是一个独立的小模型。实际系统还可以采用多 Token 预测头、EAGLE 类方法、目标模型自身的浅层进行自推测，或利用提示词中的 n-gram 与后缀匹配生成候选。独立草稿模型通常有较强的预测能力，但会增加模型权重和 KV Cache；文本匹配方法成本较低，却更依赖输入中的重复模式。相关方法分类与实现差异可参考推测解码综述。
如何获得更稳定的实际收益
- 先建立普通自回归解码基线，固定模型版本、采样参数、精度和请求数据集。
- 从较短的推测长度开始，逐步测量接受长度、端到端延迟和显存变化。
- 按任务类型拆分指标，避免用摘要任务的高接受率推断复杂推理场景的效果。
- 分别测试低并发、中并发和峰值并发，寻找推测解码的启用边界。
- 设置动态降级策略，当接受率过低或系统负载过高时切回标准解码。
总结
推测解码用廉价的候选生成换取更少的目标模型串行调用，其吞吐量收益主要由草稿速度、候选接受率、推测长度、硬件并行能力和服务并发共同决定。采用严格的验证与校正算法时，它可以保持目标模型原有的输出分布；但单次文本能否逐字复现，还受到随机数、浮点精度和调度方式影响。真正可靠的部署策略不是预设固定加速比例，而是在真实工作负载中持续观测接受长度、延迟、吞吐量、成本和一致性，并根据运行状态动态选择推测方案。
