利用python对商品评论进行文本分析具体代码

以下是一个简单的Python代码示例，用于对商品评论进行文本分析：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import re
import nltk
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import confusion_matrix, classification_report

# 读取数据
df = pd.read_csv('product_reviews.csv')

# 数据清洗
df = df.dropna()
df = df.reset_index(drop=True)
df['text'] = df['text'].apply(lambda x: re.sub('[^a-zA-Z]', ' ', x.lower()))

# 分词
nltk.download('stopwords')
stopwords = set(stopwords.words('english'))
lemmatizer = WordNetLemmatizer()
def tokenize(text):
    tokens = nltk.word_tokenize(text)
    tokens = [lemmatizer.lemmatize(token) for token in tokens if token not in stopwords]
    return tokens
df['tokens'] = df['text'].apply(tokenize)

# 特征提取
vectorizer = TfidfVectorizer(tokenizer=tokenize)
X = vectorizer.fit_transform(df['text'])
y = df['label']

# 模型训练
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = MultinomialNB()
model.fit(X_train, y_train)

# 模型评估
y_pred = model.predict(X_test)
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

解释一下代码：

1. 首先，我们使用Pandas库读取商品评论数据集，并进行一些简单的数据清洗，如删除缺失值和非字母字符，将文本转换为小写等。

2. 接下来，我们使用NLTK库进行分词和词形还原，并去除停用词。

3. 然后，我们使用Scikit-learn库的TfidfVectorizer类将文本转换为特征向量。

4. 接着，我们将数据集划分为训练集和测试集，并使用MultinomialNB算法训练模型。

5. 最后，我们使用混淆矩阵和分类报告对模型进行评估。

请注意，这只是一个简单的示例代码，您可以根据自己的数据集和需求进行修改和优化。