2026年10月9日，EPFL、 多伦多大学与Vector Institute研究者在arXiv发布《Language-Specific Effects of Tokenizer Choice in Multilingual Language Models》，系统考察分词器设计对多语种语言模型的影响。论文原文
研究团队训练了123个语言模型，比较54种分词器，并尽量固定模型架构、训练语料、训练令牌预算和优化方法，使差异主要来自分词器本身。实验覆盖31种语言，核心指标是每字节比特数（BPB），用于衡量语言模型对不同语言文本的建模效率。
论文结果显示，分词器选择会影响所有受测语言，但训练数据较少的语言通常更敏感：这些语言在不同分词器之间的BPB波动更大；如果一种语言没有进入分词器训练数据，其BPB也会出现上升，而且低资源语言受到的惩罚往往更明显。研究还发现，简单地把更多分词器训练数据分配给低资源语言并不能保证改善结果，在模型训练存在数据重复时，某些重新分配方案反而可能提高其BPB。
这项工作对多语种大模型开发的启示是，分词器不应只按英语或总体平均指标评估。研究者指出，不同语言适合的分词器特征并不完全相同，按语言计算的若干内在指标可以在正式训练模型前筛选候选分词器；论文报告这些指标对留出分词器组合的BPB排序预测准确率达到0.89。不过，该结果来自受控实验和特定模型规模，不能直接推导出所有模型、语料或下游任务都会得到相同收益。
对实际应用而言，多语种模型评测应单独检查低资源语言的切分长度、字符覆盖、推理成本和下游任务表现，而不能只看跨语言平均分。尤其对中文、日文、泰文等不依赖空格分词的语言，以及训练数据占比较低的语言，分词器设计可能同时影响上下文容量、API成本和模型质量。该研究目前属于预印本，相关结论仍需在更大模型、更多语言和真实应用任务中继续验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
