textrank算法提取关键词

TextRank算法是一种无监督的关键词提取算法，它利用图论中的PageRank算法进行关键词的计算。其基本思想是：将文本中的每个句子看成图中的一个节点，句子之间的相似度看成边，通过迭代的方式计算出每个节点的重要性，从而得到关键词。

TextRank算法提取关键词的流程：

1. 对文本进行分句，将每个句子看成图中的一个节点；
2. 对每个句子进行分词，去除停用词和无意义的词，只保留名词、动词、形容词等关键词；
3. 构建句子之间的相似度矩阵，相似度的计算可以使用余弦相似度等算法；
4. 将相似度矩阵转化为权重矩阵，使用PageRank算法进行迭代计算，得到每个节点的重要性得分；
5. 对每个句子的重要性得分进行排序，取得分最高的几个句子作为关键词。

下面是使用Python实现TextRank算法提取关键词的示例代码：

import jieba
import jieba.analyse
import numpy as np
import networkx as nx

# 加载停用词
stopwords = set()
with open('stopwords.txt', 'r', encoding='utf-8') as f:
    for line in f:
        stopwords.add(line.strip())

# 加载文本数据
with open('input.txt', 'r', encoding='utf-8') as f:
    text = f.read()

# 分句
sentences = text.split('。')

# 分词，并去除无意义的词
keywords = []
for sentence in sentences:
    words = jieba.analyse.textrank(sentence, topK=10, withWeight=True, allowPOS=('n', 'v', 'a'))
    words = [(word, weight) for word, weight in words if word not in stopwords]
    keywords.extend(words)

# 构建相似度矩阵
similarity_matrix = np.zeros((len(sentences), len(sentences)))
for i in range(len(sentences)):
    for j in range(len(sentences)):
        if i != j:
            s1 = set(jieba.cut(sentences[i]))
            s2 = set(jieba.cut(sentences[j]))
            similarity_matrix[i][j] = len(s1 & s2) / (len(s1) + len(s2))

# 构建权重矩阵，使用PageRank算法进行计算
nx_graph = nx.from_numpy_matrix(similarity_matrix)
scores = nx.pagerank(nx_graph)

# 按得分排序，取前N个关键词
keywords = sorted(keywords, key=lambda x: scores[sentences.index(x[0])], reverse=True)[:10]

# 输出结果
with open('output.txt', 'w', encoding='utf-8') as f:
    for keyword, weight in keywords:
        f.write(keyword + '\t' + str(weight) + '\n')

需要注意的是，这里使用了jieba库的`textrank`函数进行关键词提取，也可以使用其他方法进行分词和关键词提取。同时，相似度矩阵的计算方法也可以根据具体需求进行调整。