电商评论情感分析Python代码分析

### 电商评论情感分析 Python 示例代码

为了实现电商评论的情感分析，通常会经历以下几个阶段的工作：

#### 数据收集
对于电商评论的数据收集可以通过网络爬虫完成。例如，在淘宝网的情境下，可以使用 `scrapy` 库创建一个简单的爬虫脚本来抓取商品评论信息[^3]。

import scrapy
import json


class TaobaoSpider(scrapy.Spider):
    name = 'taobao_spider'
    allowed_domains = ['taobao.com']
    start_urls = ['https://www.taobao.com/']

    def parse(self, response):
        # 获取特定商品的评论链接逻辑
        pass

    def parse_reviews(self, response):
        reviews = json.loads(response.body)
        for review in reviews['data']['comments']:
            yield {
                'username': review['nick'],
                'content': review['content'],
                'rating': review['rate'],
                'date': review['date'],
            }

#### 文本预处理
一旦获得了原始评论数据之后，则需对其进行清洗和转换以便后续建模工作。这一步骤可能涉及去除HTML标签、过滤停用词等操作[^1]。

from nltk.corpus import stopwords
from bs4 import BeautifulSoup
import re

def clean_text(text):
    soup = BeautifulSoup(text, "html.parser")  # 去除HTML标记
    text = soup.get_text()
    text = re.sub(r'\s+', ' ', text.strip())   # 替换多余的空白字符为空格
    
    stop_words = set(stopwords.words('chinese'))  # 使用中文停止词表
    words = [word for word in jieba.cut(text) if not any(char.isdigit() or char.isalpha() for char in word)]
    
    filtered_sentence = []
    for w in words:
        if w not in stop_words and len(w)>0:
            filtered_sentence.append(w)

    return " ".join(filtered_sentence)


cleaned_comments = comments.apply(lambda x: clean_text(x))

注意这里引入了自然语言工具包NLTK用于处理英文文本中的停用词移除；而对于中文分词则采用了结巴(jieba)，并且自定义了一个更严格的条件来进一步筛选有效词汇。

#### 构建情感分类器
接下来就是训练机器学习模型来进行正面或负面情绪识别的任务了。一种常见做法是采用朴素贝叶斯算法作为基础分类方法之一，并借助sklearn库简化此过程。

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

vectorizer = CountVectorizer(max_features=5000)  # 将文档向量化表示成特征矩阵形式
X = vectorizer.fit_transform(cleaned_comments).toarray()

y = labels.values.ravel()  # 设定目标变量为已知的情绪类别标签

# 划分训练集与测试集合
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, random_state=42)

classifier = MultinomialNB(alpha=.7)  # 初始化多项式分布下的朴素贝叶斯估计器对象
classifier.fit(X_train, y_train)      # 对给定的数据样本进行拟合计算参数值

predicted_labels = classifier.predict(X_test)     # 预测新输入实例所属类别的概率大小
accuracy = accuracy_score(y_test, predicted_labels)*100  # 计算预测准确性百分比得分
print(f"Accuracy of the model is {round(accuracy, 2)}%.")

上述代码片段展示了如何利用Python及其相关库执行完整的电商评论情感分析流程——从获取源数据直至建立并验证情感分类模型为止。