中文预训练：整词遮掩未必总优，细看下游任务表现

整词遮掩（Whole Word Masking, WWM）作为预训练语言模型中的一种策略，近年来在提升模型性能方面表现出色，特别是在英语等语言中，它几乎不增加计算负担，但能够促进粗粒度语义的整体理解。然而，这篇由复旦大学自然语言处理研究组与腾讯AI Lab合作的 ACL 2022 Findings 论文《Is Whole Word Masking Always Better for Chinese BERT?》挑战了这一观点，认为对于中文，整词遮掩并非天然适用。 论文指出，中文的词不像英文那样是独立的单元，而是组合单元，这意味着在处理中文时，逐字遮掩（Character-Level Masking）可能更加适合。作者通过实验对比了整词遮掩和逐字遮掩在中文语法改错任务上的效果。结果显示，当涉及字级别的纠错任务时，整词遮掩的效果并不如逐字遮掩，因为它可能无法捕捉到词内部的精确含义和结构。而在处理需要整体理解和上下文关联的任务时，结合使用两种方法（例如交替或混合遮掩）可能会带来更好的性能。 在实验中，研究者设计了两个子任务：替换和插入，来评估模型在纠正中文句子中的语法错误时的适应性。这些任务包括识别需要替换的错误词汇以及在合适的位置插入缺失的词，旨在测试模型对词义、语法和上下文依赖的理解。 整词遮掩的优势在于它鼓励模型学习词汇的整体概念，有助于长距离依赖的理解，但在处理中文这种依赖词序和结构的语言时，可能会限制对细节的捕捉。因此，对于中文预训练模型，特别是在下游任务中，是否采用整词遮掩策略，需要根据具体的任务需求和数据特性进行评估和调整，不能盲目地认为它总是最好的选择。 这篇论文提醒我们，虽然整词遮掩在某些情况下确实有效，但针对中文特定的语法和结构特征，需要更精细的策略，以确保模型在不同的应用场景下都能达到最优效果。对于那些依赖于上下文和细致信息的任务，逐字遮掩或混合策略可能是更合适的选择。