使用python实现中文文本分类具体代码
时间: 2024-01-01 22:06:44 浏览: 23
可以参考以下示例代码:
```python
import jieba
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
# 读取数据
with open("train_data.txt", "r", encoding="utf-8") as f:
data = [line.strip().split("\t") for line in f]
# 分词
data_seg = [[word for word in jieba.cut(line[0])] + [line[1]] for line in data]
# 划分训练集和测试集
train_data, test_data = train_test_split(data_seg, test_size=0.2, random_state=42)
# 特征提取:使用tf-idf
corpus = [" ".join(line[:-1]) for line in train_data]
vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(corpus)
y_train = [line[-1] for line in train_data]
# 训练模型:使用朴素贝叶斯分类器
clf = MultinomialNB(alpha=0.01)
clf.fit(X_train, y_train)
# 预测
corpus_test = [" ".join(line[:-1]) for line in test_data]
X_test = vectorizer.transform(corpus_test)
y_test = [line[-1] for line in test_data]
y_pred = clf.predict(X_test)
```
其中,train_data.txt 是训练数据集,格式为每行一个文本和其所属类别用 Tab 分隔,例如:
```
电影太棒了,推荐给大家! positive
这个电影不好看,浪费时间 negative
```
该示例代码使用 jieba 进行中文分词,使用 sklearn 中的 TfidfVectorizer 进行特征提取,使用朴素贝叶斯分类器进行文本分类。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)