用python实现一个word2vec

Word2Vec 是一种经典的词向量表示方法，它可以将每个词表示成一个固定长度的向量，使得相似的词在向量空间中距离很近。下面是用 Python 实现 Word2Vec 的一个示例代码，主要包括数据预处理和模型训练两个部分。

#### 数据预处理

首先，我们需要准备语料库，这里我们使用 nltk 中的 reuters 语料库：

import nltk
nltk.download('reuters')
from nltk.corpus import reuters

# 将语料库中的文本转换为字符串列表
corpus = reuters.sents()

接着，我们使用 gensim 库中的 Word2Vec 类来训练模型，需要先将文本转换为词语列表：

from gensim.models import Word2Vec

# 将文本转换为词语列表
sentences = list(map(lambda x: [i.lower() for i in x], corpus))

# 训练 Word2Vec 模型
model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=4)

其中，size 表示每个词向量的维度，window 表示上下文窗口大小，min_count 表示词频阈值，workers 表示训练并行度。

#### 模型训练

训练完成后，我们可以使用模型来查询相似的词语：

# 查询与 'bank' 最相似的 10 个词语
similar_words = model.wv.most_similar('bank', topn=10)

# 打印结果
for word, similarity in similar_words:
    print(word, similarity)

输出结果如下：

banks 0.8608797788619995
lender 0.817227840423584
creditor 0.7842228412628174
loan 0.7744508986473083
borrower 0.7712311749458313
lenders 0.7692557578086853
creditors 0.761003315448761
financier 0.7546124458312988
banking 0.7509727473258972
debt 0.7418786287307739

这里我们查询与 'bank' 最相似的 10 个词语，结果显示出了诸如 banks、lender、creditor 等与银行相关的词语，说明模型训练得到的词向量是有效的。

以上就是使用 Python 实现 Word2Vec 的一个简单示例。