EleutherAI等研究者于2026年10月15日提交预印本，分析了约200个、覆盖9种语言的语言模型，系统比较分词器的内在指标与模型在多类任务上的表现。论文原文
研究关注一个实际问题：在投入完整训练成本之前，能否仅凭分词器本身的指标，判断它是否有利于语言模型性能。作者考察了压缩率、词汇利用率、熵、形态结构一致性等多类指标，并使用三个模型集合进行比较，其中包括研究团队新训练的VISTA模型系列。
摘要显示，单一内在指标无法在不同模型系列、语言和任务之间稳定预测下游表现。某些指标虽然在特定数据或任务中出现相关性，但这种关系并不具有普遍性。研究还指出，同一类别中的多个指标往往高度冗余，将多个指标组合起来，也没有明显提升预测能力。
论文同时检验了与字符和拼写处理有关的任务。结果表明，这些正字法任务与一般下游性能只有较弱联系，因此，改善模型的字符串操作或字符层面表现，并不必然意味着整体语言理解能力同步提升。
这项工作的意义在于，它提醒模型开发者不要把某个易计算的分词器指标当作通用优化目标。分词器设计涉及词表规模、预分词规则、分词算法、语言特征和模型规模等多个因素，较可靠的判断仍需要结合受控训练和目标任务评测。对多语言模型而言，某种分词策略在一种语言上的优势，也不能直接外推到其他语言。
需要注意的是，这是一篇提交于arXiv的预印本，文中结论属于作者基于所选模型、语言和评测任务得出的研究结果，后续仍可能随着更大规模模型或更多语言实验而调整。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
