2026年10月20日，论文《BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models》提交至arXiv计算与语言（cs.CL）方向。论文页面显示，该方法面向低比特大语言模型部署，将多词预测与超低比特模型结合，试图在减少模型存储、内存访问和线性层执行成本的同时，降低自回归生成的逐 token 解码开销。原始论文页面
论文提出联合下一词预测与多词预测目标，使同一模型同时支持常规自回归生成和块式因果草稿生成；同时设计了仅依赖置信度的解码、投机式解码和混合解码，以在生成质量与吞吐量之间进行取舍。论文还介绍了接受前缀对齐机制，用于保持已提交前缀、因果键值缓存边界和CUDA Graph状态的一致性。
按论文摘要披露，在NVIDIA H20测试中，BitMTP混合解码在五项任务上的平均速度相较基线取得约2.2倍提升（BitNet b1.58-2B）以及约2.1至2.4倍提升（1.7B至4B Bonsai模型），并声称任务质量大致可比。上述性能属于论文作者报告的实验结果，测试硬件、模型、任务和基线范围有限，不能直接推导为所有低比特语言模型或生产环境的普遍收益。该页面同时标注论文已被NeurIPS 2026接收，但当前可核实材料主要是arXiv论文页面，实际部署效果仍需独立复现。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
