python实现关键词提取的示例讲解_python主题词提取 - CSDN文库

5星 · 超过95%的资源 142 浏览量更新于2023-03-03 评论 1 收藏 57KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python实现关键词提取的示例讲解实现关键词提取的示例讲解

新人小菜鸟又来写博客啦！！！没人表示不开心~~(>_<)~~

今天我来弄一个简单的关键词提取的代码

文章内容关键词的提取分为三大步：文章内容关键词的提取分为三大步：

（（1））分词分词

（（2））去停用词去停用词

（（3））关键词提取关键词提取

分词方法有很多，我这里就选择常用的结巴jieba分词；去停用词，我用了一个停用词表。

具体代码如下：具体代码如下：

import jieba

import jieba.analyse

#第一步：分词，这里使用结巴分词全模式

text = '''新闻，也叫消息，是指报纸、电台、电视台、互联网经常使用的记录社会、传播信息、反映时代的一种文体，具有真实性、时效性、简洁性、可读

性、准确性的特点。新闻概念有广义与狭义之分。就其广义而言，除了发表于报刊、广播、电视上的评论与专文外的常用文本都属于新闻之列，包括消

息、通讯、特写、速写（有的将速写纳入特写之列）等等。狭义的新闻则专指消息，消息是用概括的叙述方式，比较简明扼要的文字，迅速及时地报道国

内外新近发生的、有价值的的事实。新闻也分公众新闻和小道新闻等。每则新闻在结构上，一般包括标题、导语、主体、背景和结语五部分。前三者是主

要部分，后二者是辅助部分。写法上主要是叙述，有时兼有议论、描写、评论等。

'''

fenci_text = jieba.cut(text)

#print("/ ".join(fenci_text))

#第二步：去停用词

#这里是有一个文件存放要改的文章，一个文件存放停用表，然后和停用表里的词比较，一样的就删掉，最后把结果存放在一个文件中

stopwords = {}.fromkeys([ line.rstrip() for line in open('stopwords.txt') ])

final = ""

for word in fenci_text:

if word not in stopwords:

if (word != "。" and word != "，") :

final = final + " " + word

print(final)

#第三步：提取关键词

a=jieba.analyse.extract_tags(text, topK = 5, withWeight = True, allowPOS = ())

print(a)

#text 为待提取的文本

# topK:返回几个 TF/IDF 权重最大的关键词，默认值为20。

# withWeight:是否一并返回关键词权重值，默认值为False。

# allowPOS:仅包括指定词性的词，默认值为空，即不进行筛选。

运行结果：运行结果：

runfile('D:/Data/文本挖掘/xiaojieba.py', wdir='D:/Data/文本挖掘')

新闻消息指报纸、电台、电视台、互联网记录社会、传播信息、时代一种文体真实性、时效性、简洁性、可读性、准确性新闻概念广

义狭义之分广义发表报刊、广播、电视评论专文外常用文本新闻列包括消息、通讯、特写、速写（速写纳入特写列）狭义新闻专指

消息消息概括叙述方式简明扼要文字报道国内外新近发生、价值事实新闻分公众新闻小道新闻每则新闻在结构上包括标题、导语、主体

、背景结语五前三者二者辅助写法叙述兼有议论、描写、评论

[('新闻', 0.4804811569680808), ('速写', 0.2121107125313131), ('消息', 0.20363211136040404), ('特写', 0.20023623445272729), ('狭义',

0.16168734917858588)]

好啦，是不是很简单？

以上这篇python实现关键词提取的示例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持

软件开发网。

您可能感兴趣的文章您可能感兴趣的文章:python实现textrank关键词提取python多进程提取处理大量文本的关键词方法python提取内容关键词的方

法python TF-IDF算法实现文本关键词提取

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论5

萱呀

2023-07-24

文件中的代码示例简洁明了，不仅展示了实现的原理，还提供了实际应用的实例。

weixin_38605538

粉丝: 4
资源: 991

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈