python爬取文本数据进行分类

要进行文本分类，可以使用Python中的自然语言处理工具，如NLTK和Scikit-learn等库。以下是一个简单的示例，展示如何使用Scikit-learn库进行文本分类。

首先，需要安装Scikit-learn库。可以使用以下命令进行安装：

pip install -U scikit-learn

接下来，我们可以使用Scikit-learn库中的CountVectorizer类将文本数据转换为数字特征向量，并使用朴素贝叶斯分类器进行分类。以下是完整的代码示例：

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 定义训练数据
train_data = [
    {'text': 'This is a positive sentence', 'label': 'positive'},
    {'text': 'This is a negative sentence', 'label': 'negative'},
    {'text': 'I am feeling good today', 'label': 'positive'},
    {'text': 'I am not feeling well today', 'label': 'negative'},
]

# 将文本数据转换为数字特征向量
vectorizer = CountVectorizer()
x_train = vectorizer.fit_transform([data['text'] for data in train_data])
y_train = [data['label'] for data in train_data]

# 训练朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(x_train, y_train)

# 定义测试数据
test_data = [
    {'text': 'I am feeling happy today', 'label': 'positive'},
    {'text': 'I am feeling sad today', 'label': 'negative'},
]

# 使用训练好的分类器进行分类
x_test = vectorizer.transform([data['text'] for data in test_data])
y_test = [data['label'] for data in test_data]
y_pred = clf.predict(x_test)

# 计算分类器的准确率
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

在上面的代码中，我们首先定义了训练数据和测试数据。然后，使用CountVectorizer类将文本数据转换为数字特征向量。接着，使用朴素贝叶斯分类器训练模型。最后，使用训练好的分类器对测试数据进行分类，并计算分类器的准确率。

当然，这只是一个简单的示例。在实际应用中，可能需要对文本数据进行更复杂的处理，如词干提取、停用词过滤等。