美国亚利桑那州立大学研究者于2026年10月14日提交预印本，提出面向大语言模型服务的Delta Tokenizer。论文关注一个容易被KV缓存掩盖的瓶颈：智能体每轮对话通常只新增少量工具输出或指令，但传统分词器仍会在CPU上从头处理完整历史，导致上下文越长，首Token延迟和CPU占用越高。论文摘要与全文
Delta Tokenizer的核心做法是保存上一轮的Token序列，只重新处理新增文本以及可能受追加内容影响的短尾部，再依据分词规则确认安全拼接边界，从而保证结果与参考分词器一致。对于没有可复用会话状态的长请求，系统还会在不会改变Token边界的位置切分文本，利用多核CPU并行编码；调度器则允许短增量任务插入长任务的分块之间，避免新一轮智能体请求排在完整长文本之后。
论文在六种字节级BPE分词器、多个CPU平台以及SGLang服务环境中进行评估。作者报告称，增量路径相较Hugging Face参考分词器可将会话轮次的分词时间缩短约40倍；在100K Token上下文的Qwen3-8B聊天测试中，SGLang的中位首Token延迟降低59%。在高负载场景，作者还报告P99首Token延迟最高下降约9.5倍；当长请求阻塞前端但最终未进入模型时，下降幅度达到约23倍。上述数字来自论文作者的实验设置，不代表所有模型、分词器或部署环境都能获得相同收益。
这项工作的意义在于把模型侧已经采用的前缀缓存思路延伸到CPU分词阶段：当智能体主要重复长历史、每轮只追加少量内容时，分词可能成为新的系统瓶颈。需要继续关注的是，Unicode规范化、特殊Token和多语言文本可能触发保守的完整编码路径；此外，论文目前是预印本，性能与“结果完全一致”的结论仍需更多独立实现和不同服务框架复核。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
