word2vec训练词向量

Word2Vec是一种用于训练词向量的算法，它通过学习词汇在上下文中的分布来表示单词。Word2Vec算法有两种不同的实现方式：CBOW和Skip-gram。

CBOW（Continuous Bag-of-Words）模型是基于上下文预测目标单词的概率，它将上下文中的词向量平均后作为输入，目标单词作为输出。这种方法适用于较小的数据集，因为它可以更快地训练。

Skip-gram模型是基于目标单词预测上下文单词的概率，它将目标单词作为输入，上下文单词作为输出。这种方法适用于更大的数据集，因为它可以更好地处理稀有词汇和长尾效应。

在使用Word2Vec进行训练时，需要准备一个语料库，并设置一些参数，例如向量维度、上下文窗口大小等。使用Python中的gensim库可以方便地进行Word2Vec训练。以下是一个简单的Word2Vec训练代码示例：

from gensim.models import Word2Vec

sentences = [["this", "is", "a", "sentence"], ["this", "is", "another", "sentence"]]
model = Word2Vec(sentences, size=100, window=5, min_count=1, workers=4)

其中，`sentences`是一个包含多个句子的列表，`size`表示词向量维度，`window`表示上下文窗口大小，`min_count`表示最小词频，`workers`表示使用的CPU数量。训练完成后，可以使用`model.wv`获取词向量表示，例如`model.wv['word']`即可获取单词`word`的词向量。