帮我写一个thu_news数据集文本分类的代码实现数据预处理，数据提取，模型训练和评估

好的，对于thu_news数据集的文本分类问题，我们可以采用以下步骤来实现：

## 数据预处理

首先，我们需要加载thu_news数据集，将其划分为训练集和测试集，并进行数据预处理，包括文本分词、去除停用词、将文本转换为数字等。

import jieba
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.preprocessing import LabelEncoder

# 加载数据集
data = pd.read_csv("thu_news.csv")

# 分词
data['content'] = data['content'].apply(lambda x: " ".join(jieba.cut(x)))

# 去除停用词
with open("stopwords.txt", "r", encoding="utf-8") as f:
    stopwords = f.read().splitlines()
data['content'] = data['content'].apply(lambda x: " ".join([word for word in x.split() if word not in stopwords]))

# 将文本转换为数字
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(data['content'])

# 标签编码
le = LabelEncoder()
y = le.fit_transform(data['category'])

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

## 模型训练

接着，我们可以使用朴素贝叶斯算法来训练我们的文本分类模型。

from sklearn.naive_bayes import MultinomialNB

# 训练模型
clf = MultinomialNB()
clf.fit(X_train, y_train)

## 模型评估

最后，我们可以使用测试集来评估我们的模型性能，包括准确率、精确率、召回率和F1值等。

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 预测
y_pred = clf.predict(X_test)

# 计算指标
acc = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='macro')
recall = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')
print("Accuracy: {:.4f}, Precision: {:.4f}, Recall: {:.4f}, F1: {:.4f}".format(acc, precision, recall, f1))

完整代码如下：