导语：在大型语言模型中，词表并不只是“存放单词的清单”，它还决定文本如何被切分、上下文窗口如何被消耗，以及不同语言和专业术语能否获得稳定表示。对多语言模型而言，词表扩展可以改善低资源语言与领域词汇的覆盖，但如果扩展策略缺乏约束，也可能增加模型参数、训练成本和词元分布的不均衡。因此，评估词表扩展不能只看词表规模，还要同时考察分词效率、术语完整性和新增词元的实际利用率。
词表扩展为何会改变多语言分词效率
LLM通常使用BPE、WordPiece或Unigram等子词算法，将输入文本拆成词元。某个词如果已被完整收录，可能只占一个词元；如果未被覆盖，就会被拆成多个子词。对于训练资源丰富的语言，常用词和字符组合通常拥有较好的词表覆盖。低资源语言、黏着语、复杂形态语言以及非拉丁文字语言，则更容易出现过度切分。
衡量这种差异时，可以观察平均每词词元数，也就是常说的分词“肥沃度”。数值越高，通常意味着相同文本需要更多词元编码。不过，平均值不能完整说明词表资源分配情况。例如，两个分词器可能具有接近的平均词元数，但其中一个能完整保留高频词，另一个却把大量常用词拆成碎片。因此，还应结合单词被单一词元保留的比例、字符与词元比、未知字符覆盖率等指标进行判断。相关研究也提出使用单词单词元保留率来补充分词肥沃度的局限，参见多语言分词评估研究[1]。
合理扩展词表后，目标语言中的高频词、词缀和稳定字符组合可以直接映射为较少的词元。这样不仅能减少序列长度，还能降低注意力计算和键值缓存的占用，使固定上下文窗口容纳更多实际内容。对于按输入或输出词元计费的应用，分词压缩改善也可能降低使用成本。
领域术语为何尤其需要完整表示
医疗、法律、金融、制造和软件工程等领域包含大量缩写、复合词、型号、化学名称与专有概念。通用词表往往根据互联网或综合语料训练，领域术语在其中出现频率较低，因此容易被拆成多个缺乏独立语义的片段。
子词切分本身不等于语义丢失，模型仍可能通过上下文组合出完整含义。但术语长期以稳定单元出现时，将其纳入词表通常有利于形成更集中的表示。特别是在术语检索、实体识别、知识库问答和结构化抽取中，减少不必要的碎片化可以降低边界识别难度，也能避免同一术语因大小写、连字符或文字变体而产生大量不同切分。
例如，一个专业缩写若被拆为几个普通字符片段，这些片段还会在其他无关词中反复出现，模型需要依靠上下文重新区分含义。若该缩写获得专用词元，其嵌入可以更直接地吸收领域语义。不过，新增词元并不会自动获得高质量表示，仍需通过继续预训练、领域语料训练或有监督微调，让它在足够多且可靠的上下文中更新。
扩展词表可能带来的代价
- 模型参数增加：输入嵌入矩阵和输出投影层通常与词表大小相关。新增大量词元会增加显存占用，若输入输出权重未共享，影响可能更加明显。
- 新词元初始化困难：随机初始化虽然简单，但需要更多训练才能稳定。实践中可利用原分词器切分结果，对对应旧词元嵌入取平均或加权组合，作为新词元的初始表示。
- 已有能力受到扰动：如果更换分词规则导致普通文本的切分方式大幅变化，原模型学习到的词元关系可能失效。增量扩展通常应尽量保持旧词元编号和原有切分行为。
- 低频词元浪费容量：把完整术语表直接加入词表并不理想。大量罕见型号、拼写变体或一次性字符串可能几乎不参与训练，却持续占用参数空间。
- 语言间资源竞争：固定规模词表中，某种语言获得更多词元，可能意味着其他语言的覆盖空间被压缩。多语言设计需要兼顾语料规模、语言结构和实际服务需求。
如何选择值得加入的词元
词表扩展应从真实业务语料出发，而不是简单收集词典。首先使用原分词器分析各语言和领域文本，找出高频且切分过长的字符串。随后过滤纯噪声、隐私信息、随机编号、异常编码和极低频变体，再按照频率、平均切分长度、跨文档覆盖率与任务重要性进行综合排序。
候选词元还要接受“替换收益”评估。一个术语即使很长，如果只出现极少次数，加入词表后的总体压缩收益仍然有限；一个较短但高频的词缀，则可能显著减少大量文本的词元数量。对于形态丰富的语言，加入可复用的词根和词缀有时比收录大量完整词形更有效。
词表扩展的目标不是让所有专业词都成为独立词元，而是在有限容量下，优先保留频繁、稳定、语义明确且能显著改善切分的单位。
评估时不能只比较平均词元数
- 效率指标：比较字符与词元比、平均每词词元数、序列长度分布和达到上下文上限的样本比例。
- 覆盖指标：分别统计各语言、文字系统和领域术语的完整保留率，避免总体平均值掩盖弱势语言的问题。
- 任务指标：测试实体识别、术语翻译、检索问答、分类和生成任务，确认切分改善能否转化为实际效果。
- 资源指标：记录嵌入参数增量、训练显存、推理吞吐、首词元延迟和缓存占用。
- 稳定性指标：检查扩展前后的通用基准表现，并测试混合语言、罕见字符、拼写变体和代码切换场景。
评估数据还应按照语言和领域分层。若只在合并后的测试集上报告一个数字，高资源语言的大量样本可能掩盖低资源语言的退化。更稳妥的做法是同时给出宏平均、加权平均和各语言明细，并对核心术语建立固定回归测试集。
更稳健的工程实施路径
实际项目可以采用“小规模候选扩展、短周期继续预训练、分层评估、逐步放量”的流程。先添加最有价值的一批词元，并保持原词表编号不变；再使用通用语料与领域语料混合训练，避免模型只适应专业文本；最后通过线上流量观察真实输入长度、吞吐和任务质量。
如果目标仅是提升某个狭窄领域，未必必须扩展整个基础模型词表。检索增强、术语规范化、输入预处理或领域适配器也可能以更低成本解决问题。只有当术语碎片化频繁发生，并且明显影响上下文容量、推理费用或任务质量时，词表扩展才更具投入价值。
总结
LLM词表扩展能够减少低资源语言和专业术语的过度切分，提高上下文利用率，并为稳定术语建立更集中的表示。但收益并非来自词表规模本身，而取决于候选词元是否高频、可复用、语义稳定，以及新增嵌入是否经过充分训练。实践中应坚持增量扩展、保持兼容、分语言评估和任务验证，在分词效率、术语表示、参数成本与通用能力之间取得平衡。一个优秀的多语言词表，不是收录词元最多，而是能让有限的词表容量服务于更多真实语言与业务场景。
