bilstm模型填空

BERT模型引入了Masked LM和NSP两种预训练目标，使用双向LM进行模型预训练，并进一步验证了更大的模型效果更好。它还为下游任务引入了通用的求解框架，不再需要为每个任务定制模型。BERT预训练模型的输出是一个或多个向量，可以通过精调或特征抽取两种方式在下游任务中使用。其中，特征抽取方式的好处是可以预先计算所需的向量并重复使用，从而提升下游任务模型训练的速度。