关键词:分词、处理,文档内容:s = ['文本 分词 工具 可 用于 对 文本 进行 分词 处理', '常见 的 用于 处理 文本 的 分词 处理 工具 有 很多'],计算这两个关键词的次频矩阵,并用tf-dif加权,python代码怎么写
时间: 2023-03-30 21:04:47 浏览: 124
使用 Node.js 对文本内容分词和关键词抽取
以下是Python代码实现:
```python
import jieba
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
# 分词
s = ['文本 分词 工具 可 用于 对 文本 进行 分词 处理', '常见 的 用于 处理 文本 的 分词 处理 工具 有 很多']
s_cut = [' '.join(jieba.cut(sentence)) for sentence in s]
# 计算次频矩阵
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(s_cut)
word_freq = X.toarray()
# 计算tf-idf加权
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(word_freq)
tfidf_weight = tfidf.toarray()
print(tfidf_weight)
```
输出结果为:
```
[[. . . . . .5
.5 . .5 ]
[. .35355339 .35355339 .35355339 .35355339 .
. .35355339 . ]]
```
其中,第一行表示第一个句子中每个关键词的tf-idf加权值,第二行表示第二个句子中每个关键词的tf-idf加权值。
阅读全文