两阶段对比学习提升词汇翻译：BLI任务新框架

"这篇论文提出了一种两阶段对比学习框架，用于提高跨语言词汇翻译（BLI）任务的性能。该框架首先通过对比学习优化静态词嵌入（WEs）之间的跨语言线性映射，然后对mBERT进行面向BLI的对比微调，以进一步提升单词翻译能力。在不同语言对和实验设置下的BLI数据集上，该框架显示出了显著的改进效果。" 在多语言自然语言处理（NLP）领域，双语词汇归纳（BLI）是一项关键任务，它旨在找出不同语言间的词汇对应关系。传统的BLI方法主要依赖于基于映射的技术，通过学习将一种语言的词嵌入空间映射到另一种语言的空间，从而找到词对之间的对应。然而，这种方法往往受限于初始的种子词典和线性映射的简单性。 论文提出的两阶段对比学习框架首先在第一阶段（C1）中改进了这一过程。通过对比学习，不仅可以优化静态词嵌入（如Word2Vec或FastText）之间的跨语言映射，还能将这种学习策略融入自监督的映射过程，从而获得更精确的跨语言对应。这种方法提升了基础静态词嵌入的表示能力，减少了词汇空缺，并增强了不同语言间的语义相似度理解。 第二阶段（C2）聚焦于预训练的多语言BERT模型（mBERT）的微调。作者发现，通过对比学习对mBERT进行定向微调，可以激活其内在的跨语言翻译能力。mBERT经过这样的微调后，不仅能够补充静态WEs的不足，还能在不同语言环境中提供更丰富的上下文信息。这一步骤对于那些没有充足平行数据的语言对尤其有益，因为它利用了mBERT的预训练知识来学习潜在的词汇对应。 在多个标准BLI数据集上的实验结果证明了该框架的有效性。阶段C1的对比学习方法已经在单一阶段的BLI方法上取得了显著的提升，而完整框架的使用则带来了更强的改进。例如，在涵盖28种语言对的112/112 BLI设置中，该框架实现了明显的性能提升。 此外，这种两阶段学习框架对于低资源语言和领域的语言技术发展具有重大意义，因为它们通常缺乏足够的训练数据。通过对比学习，可以从已有的大规模预训练模型中抽取更多的信息，为这些语言提供更准确的词汇对应，从而推动其在机器翻译、语言学习等应用中的进步。 这项工作为跨语言词汇翻译提供了新的视角，通过结合静态词嵌入的优化和预训练模型的微调，构建了一个强大且有效的学习框架。未来的研究可能会探索如何将这种框架扩展到其他NLP任务，或者改进对比学习策略以适应更多样化的语言环境。