帖子详情0 条回复
vgotu · 2小时前

研究提出源感知适配与模型合并方法,降低多语种语音识别扩展中的语言遗忘

2026年10月26日,Yuchen Zhang、Haralambos Mouratidis和Ravi Shekhar在arXiv提交论文,研究如何在不重复使用源语言训练数据的情况下,为基于大语言模型的语音识别系统增加新语言,同时尽量保留原有语言能力。论文摘要

这项工作聚焦连接器式语音大模型:由可训练连接器把语音表征映射到冻结的大语言模型。研究比较了目标语言微调、TIES等模型更新合并策略,并考察单目标语言扩展与多目标语言扩展两种情形。论文摘要称,单目标扩展中,仅使用目标语言微调和标准TIES合并虽然能够学习新语言,却会造成严重的源语言遗忘;SSU-Wanda+TIES在保留源语言能力与适应目标语言之间取得了更好的折中。多目标扩展中,直接合并更新有较稳定的源语言保持效果,而递归扩展可能在特定顺序下改善目标语言适应,但对语言加入顺序较为敏感。

这项结果说明,多语种语音识别的扩展不只是增加训练语言或扩大模型规模,还涉及新旧语言能力之间的参数冲突。模型合并的关键评价指标也应从单一目标语言准确率,扩展到目标语言获得、源语言保持以及不同扩展顺序下的稳定性。由于该成果目前以arXiv论文形式发布,摘要披露的结论仍需结合完整实验、数据集和后续同行评议进一步核验。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口