预训练 embedding 是什么

预训练 embedding 是指在大规模语料库上进行训练，得到的词向量模型。这个模型可以将每个单词表示为一个向量，该向量表示了该单词在语料库中的语义信息。这个模型可以用于各种NLP任务，如文本分类、情感分析、实体识别等。预训练 embedding 的目的是为了让模型在任务中更好地理解语义信息，从而提高模型的性能。常见的预训练 embedding 模型包括 Word2Vec、GloVe、ELMo和BERT等。