10月27日,研究团队在arXiv提交论文《The State and Fate of Multilingual, Contextual Evaluation in the NLP World》,对51个多语言评测基准、242个数据集和219种语言进行了系统审计。论文将问题归纳为覆盖范围、代表性和评测严谨性三个方面,相关结论目前属于论文作者的分析,尚未代表整个领域的共识。论文原文
摘要显示,36%的被评估语言只出现在一个基准中,大洋洲、美洲和中亚等地区的语言覆盖接近空白;低资源语言通常只被放在1至3类任务中评估,而高资源语言覆盖约14类任务。研究还称,英语翻译仍是多语言数据集的主要构建方式,约56%的“数据集—语言”实例来自翻译,这可能带来翻译痕迹和英语中心的表达框架。具有文化本土性的内容则集中在少数、语言覆盖较窄的社区驱动基准中。
论文进一步提醒,基准污染不一定能通过表面文本匹配发现,翻译数据泄漏和并行语料重叠都可能影响结果可信度。研究团队据此建议,未来的多语言评测应更多采用原生构建、文化语境相关和污染感知的方法,并公开数据元信息。对模型开发者而言,这意味着“支持多少种语言”不能只看数量,还要检查每种语言是否有足够任务覆盖、是否由目标语言社区参与构建,以及测试集是否存在翻译或训练语料重叠。需要注意的是,该成果是一篇近期提交的研究论文,文中统计范围和指标定义应结合原文全文进一步核对。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情