推测解码的核心思路，是让参数更少、运行更快的草稿模型先连续提出若干候选 Token，再由目标大模型一次性并行验证。候选被接受得越多，目标模型需要执行的串行解码轮次通常越少，因此草稿模型接受率常被视为衡量加速效果的重要指标。但在实际部署中，接受率并不等于吞吐量，高接受率也不必然意味着更高性能。
接受率如何转化为吞吐收益
假设草稿模型每轮提出多个 Token，目标模型从第一个 Token 开始依次验证。当候选与目标分布足够接近时，一轮验证可以确认多个 Token；一旦某个位置未通过，该位置之后的候选通常会被放弃，并依据目标模型的分布进行纠正。接受率越高，平均每轮提交的有效 Token 越多，目标模型昂贵的串行调用次数也就越少。
因此，在其他条件相同的情况下，提高接受率通常能够降低单 Token 延迟并提升吞吐量。尤其是在批量较小、目标模型明显受显存带宽限制的场景中，一次验证多个候选 Token，可以更充分地利用计算资源。这也是推测解码能够加速自回归生成的主要原因。相关原理可参考 Leviathan 等人的来源链接以及 Chen 等人的来源链接。
为什么高接受率不一定带来高吞吐
接受率只描述候选 Token 被目标模型采用的比例，却没有计算生成这些候选所付出的成本。如果为了获得更高接受率而使用规模更大、层数更多的草稿模型，草稿阶段的延迟可能快速上升。此时即使每轮通过的 Token 更多，整轮“起草加验证”的耗时仍可能增加，最终吞吐量反而下降。
可以将实际收益理解为“每轮确认的有效 Token 数”与“草稿、验证及调度总耗时”的比值。草稿模型越快、目标模型验证越高效、平均接受长度越长，这一比值越有利。研究表明，草稿模型的推理延迟和硬件执行效率可能比单纯的语言建模能力更直接地影响最终吞吐，因此不能只按照接受率选择草稿模型，可参见来源链接。
候选长度也存在最佳区间
增加每轮候选 Token 数量，可以扩大一次验证可能获得的收益，但候选链越长，后部 Token 全部被接受的概率通常越低。第一处拒绝之后生成的候选会成为无效计算，同时更长的验证序列还会增加显存访问、KV Cache 使用和调度开销。因此，固定使用很长的草稿长度并非总是理想方案。
工程上更有效的做法，是根据请求类型、采样参数和近期接受情况动态调整候选长度。例如，当连续多轮保持较高接受率时，可以适当延长草稿；当拒绝频繁发生时，则缩短候选链，减少无效起草。对于代码补全、格式固定的结构化输出，模型分布往往较集中，较长候选可能更有价值；开放式创作或高温度采样的分支更多，通常需要更保守的长度策略。
接受率对输出一致性的真实影响
标准推测解码并不是简单地把目标模型同意的词留下、不同意的词替换掉，而是通过严格的接受与校正规则，使最终采样仍服从目标模型原本的概率分布。只要实现遵循完整算法，草稿模型只影响计算路径和速度，不应改变目标分布，也不会因为接受率高低而系统性降低输出质量。
不过，“分布一致”不等于每次生成的文本逐字相同。在随机采样模式下，即使不使用推测解码，不同随机数状态也可能产生不同结果。若系统要求逐 Token 复现，还需要固定随机种子、采样参数、随机数消耗顺序、算子实现和数值精度。并行计算顺序、浮点误差或框架中的近似验证策略，也可能在概率接近的候选之间造成差异。
关键区别：正确的推测采样保证统计意义上的目标分布一致；确定性复现则是更严格的工程要求，不能仅由接受率保证。
生产环境应如何评估
选择草稿模型时，建议同时记录以下指标，而不是只观察总体接受率：
- 平均接受长度：每次目标模型验证实际提交了多少有效 Token。
- 草稿耗时：生成候选所需的时间及其占整轮延迟的比例。
- 验证耗时：候选长度变化后，目标模型一次验证的成本。
- 端到端吞吐：单位时间完成的输出 Token 数或请求数。
- 延迟分位数：关注首 Token 延迟以及 P50、P95、P99 等指标。
- 一致性检查：比较采样分布、任务质量和确定性模式下的逐 Token 结果。
测试数据还应覆盖真实业务中的提示长度、输出长度、批大小、温度、Top-p 和请求并发度。平均接受率相同的两个方案，可能具有完全不同的拒绝位置分布：一个方案经常在第一个候选处失败，另一个方案则通常先接受多个 Token 后再拒绝，两者对吞吐量的影响并不相同。
总结
草稿模型接受率决定了推测解码每轮能够确认多少有效 Token，是影响吞吐量的重要因素，但它必须与草稿延迟、验证成本、候选长度、批处理方式和硬件利用率共同分析。更高的接受率只有在额外成本足够低时，才能转化为更高吞吐。与此同时，规范实现的推测解码可以保持目标模型的输出分布，接受率影响的是执行效率，而非理论上的生成质量。生产优化的正确目标不是追求最高接受率，而是在真实负载下找到“有效接受长度与整轮成本”的最佳平衡点。
