Python实现word2Vecmodel过程解析_word2vec实例详解python - CSDN文库

178 浏览量更新于2023-03-16 评论 1 收藏 253KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python实现实现word2Vec model过程解析过程解析

主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'

if os.path.exists(fname):

# load the file if it has already been trained, to save repeating the slow training step below

model = gensim.models.Word2Vec.load(fname)

else:

# can take a few minutes, grab a cuppa

model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)

model.save(fname)

words = "woman women man girl boy green blue".split()

for w1 in words:

for w2 in words:

print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))

print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec，所以我们直接开始建立模型

这是建立模型的过程，最后会出现saving Word2vec的语句，代表已经成功建立了模型

这是输入了 gorvement和news关键词后所反馈的词语 --- administration，他们之间的相关性是0.508

当我在输入 women 和 man ，他们显示的相关性的0.638 ，已经是非常高的一个数字。

值得一提的是，我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话，可以自己建立该模型，通过传入不同的语料库，来calc 一些term的相关性噢

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38514872

粉丝: 6
资源: 880

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈