美洲NLI：预训练多语言模型在低资源土著语言中的高级语义任务评估

本研究论文主要关注跨语言迁移在预训练多语言模型中的应用，特别是在低资源语言环境中的高级语义任务评估。随着预训练模型如XLM、mBERT和XLM-R在多语言NLP领域的显著成果，这些模型展现出在无任何特定语言领域知识的情况下进行形式上的跨语言迁移能力，即使在预训练阶段未曾接触过的语言中也能展现基础性能。 然而，以往的研究对于低资源语言的评估主要集中在较低级别的句法任务上，关于能否通过零射击学习实现高级别的语义理解并不明确。为了填补这一空白，研究者们设计并推出了一个名为AmericasNLI的数据集，它是XNLI（Conneau et al., 2018）的扩展，涵盖了美洲的10种土著语言。通过对XLM-R模型进行一系列实验，包括零射击和基于预训练的方法对比，论文试图解答在这些低资源语言中进行高级语义任务的可能性。 实验结果显示，持续的预训练对XLM-R模型的性能有显著提升，平均准确率达到了44.05%。出人意料的是，使用翻译质量较差的数据进行训练，尽管在某些方面可能存在挑战，但最终的准确率却高达48.72%，这表明模型在处理翻译不准确的数据时仍能展现出一定的适应性和理解力。 论文还强调了模型自我适应的重要性，通过持续预训练让模型能够更好地应对不同语言环境。同时，通过分析数据集，研究人员揭示了在处理低资源语言时，预训练模型的优势和限制，这对于理解和优化跨语言模型的性能具有重要意义。 这篇论文不仅验证了预训练多语言模型在低资源语言中的潜力，也提供了关于如何进一步优化这些模型在高级语义任务中的表现的见解，对于推动跨语言NLP技术的发展具有重要价值。