2. BERT模型在训练过程中，使用了哪些预训练任务？ 10分 A.SOP B.NSP C.N-Gram Masking D.MLM

BERT模型在训练过程中使用了以下预训练任务：
D. MLM (Masked Language Modeling)和
B. NSP (Next Sentence Prediction)。

其中，MLM是通过将输入序列中的一些token随机地替换为[MASK]，然后让模型预测这些被替换的token。而NSP则是让模型判断两个句子是否是相邻的。这些任务可以帮助BERT学会更好地理解语言的上下文和语义。C和A所提到的N-Gram Masking和SOP不是BERT模型使用的预训练任务。