用python实现中文文本分类

中文文本分类是指将一段给定的中文文本自动归类到预先定义好的不同类别中。下面是一个用 Python 实现中文文本分类的示例：

1. 数据准备

首先，我们需要准备好数据集，这里以THUCNews数据集为例。可以从 https://github.com/gaussic/text-classification-cnn-rnn 获取此数据集。

数据集包括10个分类，分别是:

* 体育
* 财经
* 房产
* 家居
* 教育
* 科技
* 时尚
* 时政
* 游戏
* 娱乐

每个分类文件夹下是对应分类的样本文件，文件编码为UTF-8。我们需要把每个文件的内容读取出来，并将其对应到所属的类别标签上。

2. 文本预处理

在进行文本分类之前，我们需要对文本进行一些预处理。常见的文本预处理操作有：

* 去除HTML标签
* 去除标点符号和特殊字符
* 分词
* 去除停用词
* 词干提取

在这里，我们采用jieba库对文本进行分词。

3. 特征提取

在文本分类中，我们需要把文本转换成数字矩阵，以便机器学习算法进行处理。常见的特征提取方法有：

* 词袋模型
* TF-IDF模型
* Word2Vec模型

在这里，我们采用词袋模型进行特征提取。

4. 模型训练和测试

我们可以使用多种机器学习算法进行文本分类，例如朴素贝叶斯、支持向量机、决策树等。在这里，我们使用朴素贝叶斯算法进行文本分类。

具体的代码实现可以参考以下示例：

import os
import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report, accuracy_score

# 数据准备
def load_data(path):
    data = []
    labels = []
    for root, dirs, files in os.walk(path):
        for file in files:
            label = os.path.basename(root)
            filename = os.path.join(root, file)
            with open(filename, 'r', encoding='utf-8') as f:
                content = f.read()
                data.append(content)
                labels.append(label)
    return data, labels

# 文本预处理
def preprocess(text):
    words = jieba.lcut(text)
    return ' '.join(words)

# 特征提取
def feature_extraction(train_data, test_data):
    vectorizer = CountVectorizer(token_pattern=r'\b\w+\b')
    train_features = vectorizer.fit_transform(train_data)
    test_features = vectorizer.transform(test_data)
    return train_features, test_features

# 模型训练和测试
def train_and_test(train_features, train_labels, test_features, test_labels):
    model = MultinomialNB(alpha=0.01)
    model.fit(train_features, train_labels)
    predict_labels = model.predict(test_features)
    print(classification_report(test_labels, predict_labels))
    print('Accuracy: %.2f%%' % (accuracy_score(test_labels, predict_labels) * 100))

if __name__ == '__main__':
    data_path = 'THUCNews'
    train_data, train_labels = load_data(os.path.join(data_path, 'train'))
    test_data, test_labels = load_data(os.path.join(data_path, 'test'))
    train_data = [preprocess(text) for text in train_data]
    test_data = [preprocess(text) for text in test_data]
    train_features, test_features = feature_extraction(train_data, test_data)
    train_and_test(train_features, train_labels, test_features, test_labels)

运行以上代码，即可完成中文文本分类任务。