改进神经机器翻译：掩码标签平滑与词汇共享的融合研究

本文主要探讨了神经机器翻译(NMT)中的两种关键技术——标签平滑(LS)和词汇共享(VS)，以及它们可能存在的冲突和改进方法。作者提出了一个新的机制，称为Masked Label Smoothing (MLS)，以解决标签平滑与词汇共享之间的潜在问题，旨在提高翻译质量和模型的校准。 在神经机器翻译中，标签平滑是一种正则化技术，它通过将硬独热标签转换为软标签分布来防止过拟合和过度自信。这种技术将黄金标签的单一概率分配扩散到整个词汇表，从而引入了一定程度的不确定性。然而，简单应用标签平滑可能会导致源端单词和目标端单词的不对等处理，尤其是在目标语言中不存在的源端单词，这可能会使翻译模型产生偏差。 另一方面，词汇共享是一种优化方法，特别是在处理多语言任务时，它允许模型在源语言和目标语言之间共享词汇表的一部分，以减少词汇表大小并促进跨语言的迁移学习。尽管这种方法可以提高效率，但与标签平滑结合使用时可能会出现冲突。 针对这一问题，作者提出了Masked Label Smoothing (MLS)机制。MLS在标签平滑过程中，将源端单词的软标签概率设为零，即对源端单词进行“遮罩”，这样可以确保源端单词不会直接影响目标端的概率分布，从而缓解了源端和目标端处理的不平等性。通过实验，作者证明了MLS在多种数据集上的翻译质量和模型校准上均优于传统的标签平滑方法，尤其是在双语和多语言翻译任务中。 实验结果显示，应用MLS的模型在IWEL2014 DE-EN和IWEL2015 VI-EN数据集上的性能优于仅使用标签平滑或词汇共享的模型。这些结果强调了MLS作为改进NMT性能的有效策略，特别是在结合标签平滑和词汇共享时。 本文对神经机器翻译中的关键技术和潜在问题进行了深入分析，并提出了一种新的解决方案。通过对标签平滑和词汇共享的整合，MLS为提高翻译质量和模型性能提供了新的视角，这对于NMT领域的研究和实践具有重要意义。