使用tf-idf算法python批量文本

处理

TF-IDF算法是一种用于信息检索和文本挖掘的常用算法，用于计算文本中每个词的重要性。在Python中，可以使用scikit-learn库来实现TF-IDF算法。下面是一个批量处理文本的示例：

1. 首先，导入必要的库：

from sklearn.feature_extraction.text import TfidfVectorizer
import os

2. 定义一个函数来读取文本文件并返回其内容：

def read_file(path):
    with open(path, 'r', encoding='utf-8') as f:
        content = f.read()
    return content

3. 定义一个函数来批量处理文本：

def process_files(folder_path):
    files = os.listdir(folder_path)
    documents = [read_file(os.path.join(folder_path, f)) for f in files]
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(documents)
    feature_names = vectorizer.get_feature_names()
    for i, doc in enumerate(documents):
        print("Document:", files[i])
        print("TF-IDF scores:")
        for j, name in enumerate(feature_names):
            print(name, tfidf_matrix[i,j])
        print("\n")

4. 调用函数并指定要处理的文本文件夹：

process_files("path/to/folder")

这将读取文件夹中的所有文本文件，并计算每个文件中每个词的TF-IDF得分。输出将包括每个文件的名称以及其TF-IDF分数。