如何使用预训练好的词向量生成词汇表
时间: 2023-06-05 12:05:03 浏览: 184
GoogleNews 训练好的词向量文件,每个词向量300维度,很好用
生成词汇表的方法与使用预训练好的词向量的方法是两个不同的过程。要生成词汇表,可以使用Python中的Counter模块统计文本中出现的单词,并按照频率排序,选择频率较高的单词作为词汇表。使用预训练好的词向量,则需要将词汇表中的每个单词从词向量模型中查找对应的向量表示。常用的预训练词向量模型包括Word2Vec和GloVe等。
阅读全文