import pandas as pd import jieba stop_words = set() # 定义一个set用于存储停用词 # 读入文件，将每个停用词存储在set中 with open('stopwords.txt', 'r',encoding='utf') as f: for line in f.readlines(): stop_words.add(line.strip()) df1 = pd.read_csv('shuju_new.csv',sep='\t\t',engine='python',encoding='utf-8') cut_comments = [] for text in df1["content"]: seg_list = jieba.cut(text) cut_words = [word for word in seg_list if word not in stop_words and len(word.strip()) > 0] cut_comment = " ".join(cut_words) cut_comments.append(cut_comment) df1['cut_comment'] = pd.Series(cut_comments) df1['cut_comment']

这段代码的作用是读取一个文本文件中的停用词，并将一个包含评论的csv文件中的每个评论进行中文分词，并去除其中的停用词，最后将分词后的结果存储在一个新的列中。具体来说，代码中的步骤如下：

1. 导入 pandas 和 jieba 库。

2. 定义一个空的 set，用于存储停用词。

3. 打开停用词文件，并将每个停用词存储在 set 中。

4. 使用 pandas 的 read_csv() 函数读取一个包含评论的 csv 文件。

5. 对于每个评论，使用 jieba 库的 cut() 函数进行中文分词。

6. 使用列表推导式，去除分词结果中的停用词和空白字符。

7. 将去除停用词后的分词结果用空格连接成一个字符串。

8. 将所有分词后的评论存储在一个列表中。

9. 将分词后的评论列表作为一个新的列添加到原始的 pandas 数据框中。

10. 返回修改后的 pandas 数据框。