python检测文本关键词

在Python中，可以使用多种库来检测文本中的关键词，常见的有自然语言处理（NLP）工具如NLTK (Natural Language Toolkit)，尤其是结合了TF-IDF (Term Frequency-Inverse Document Frequency) 算法或TextBlob等。这些工具可以帮助分析文本的重要性，并找出最相关的关键词。

以下是一个简单例子，使用`sklearn`库中的`TfidfVectorizer`和`SelectKBest`来提取文档中的关键词：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_selection import SelectKBest, chi2
import pandas as pd

def detect_keywords(text, k=5):
    # 准备数据（假设text是一个包含字符串的列表）
    data = [{"content": text[i]} for i in range(len(text))]

    # 创建TfidfVectorizer实例
    vectorizer = TfidfVectorizer()
    
    # 提取特征
    X = vectorizer.fit_transform(data)

    # 使用chi-squared统计选取关键词
    selector = SelectKBest(chi2, k=k)
    selected_features = selector.fit_transform(X, [0]*len(text))  # 假设只有一个类别

    # 获取关键词及其得分
    feature_names = vectorizer.get_feature_names_out()
    keyword_scores = dict(zip(feature_names, selector.scores_))

    # 排序并返回前k个关键词
    keywords = sorted(keyword_scores.items(), key=lambda x: x[1], reverse=True)[:k]
    
    return keywords

# 示例文本
example_text = ["这是一些示例文本", "关键词检测很重要"]
keywords = detect_keywords(example_text)
for keyword, score in keywords:
    print(f"关键词：{keyword}, 得分：{score}")