多语言预训练模型：实体引导的跨语言迁移效率研究

本文主要探讨了多语言预训练语言模型在跨语言迁移任务中的有效性，以及实体信息如何提升模型性能。近年来，多语言预训练模型如mLUKE（由RyokanRi1、山田郁也和鹤冈义正等人开发的模型）在自然语言处理领域展现出显著优势，特别是在处理跨语言问题时。这些模型通过利用维基百科实体的跨语言对齐信息进行训练，能够捕捉到不同语言之间的语义联系。 研究者们发现，传统的预训练方法主要是在预训练阶段利用实体信息，而在下游任务中并未直接利用实体表示。为了深入理解实体的重要性，他们构建了一个涵盖24种语言的多语言模型，并在多项跨语言迁移任务中对比测试了其与基于单词的预训练模型。结果表明，包含实体表示的多语言模型在这些任务中表现更为出色，能够提取更多的语言无关特征，从而提高跨语言理解能力。 文章特别关注了mLAMA数据集中的多语言完形填空提示任务，通过实验证明，基于实体的提示能更好地引导模型提取和利用正确的事实知识，相比之下，仅仅依赖文本表示则显得较为局限。研究者们认为，将实体表示形式化并融入输入，有助于模型在处理跨语言挑战时提供更精准的理解。 值得注意的是，这项工作的成果可以通过访问<https://github.com/studio-ousia/luke>获取源代码和预训练模型，这对于其他研究者和实践者来说是一个宝贵的资源。本文为多语言预训练语言模型在跨语言迁移任务中的优化策略提供了新的视角，强调了实体信息在提升模型性能和跨语言理解方面的关键作用。