import re import jieba import pandas as pd # 读取微博数据 df = pd.read_csv('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/期末作业-操作.csv', encoding='gbk') # 读取停用词文件 stopwords = [] with open('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/hit_stopwords.txt', encoding='utf-8') as f: for line in f: stopwords.append(line.strip()) # 去除 HTML 标签和表情符号 def clean_text(text): # 去除 HTML 标签 text = re.sub('<[^>]+>', '', text) # 去除表情符号 text = re.sub('\[.*?\]', '', text) return text # 去除网址和@用户 def remove_url_and_at(text): # 去除网址 text = re.sub('https?://[^\s]+', '', text) # 去除@用户 text = re.sub('@[^\s]+', '', text) return text # 分词，去除停用词和标点符号 def tokenize(text): # 分词 words = jieba.cut(text) # 去除停用词和标点符号 words = [word.strip() for word in words if word.strip() not in stopwords and re.match(r'^[\w\u4e00-\u9fa5]+$', word)] return words # 对每条微博进行处理 for i, row in df.iterrows(): text = row['text'] # 去除 HTML 标签和表情符号 text = clean_text(text) # 去除网址和@用户 text = remove_url_and_at(text) # 分词，去除停用词和标点符号 words = tokenize(text) # 将处理后的文本保存到新列中 df.at[i, 'processed_text'] = ' '.join(words) # 将处理后的数据保存到新的 csv 文件中 df.to_csv('weibo_processed.csv', index=False, encoding='gbk')

这段代码是一个微博文本数据的预处理过程，包括读取微博数据、读取停用词文件、去除 HTML 标签和表情符号、去除网址和@用户、分词，去除停用词和标点符号等步骤，最终将处理后的数据保存到新的 csv 文件中。

具体步骤如下：

1. 使用 pandas 库读取 csv 文件中的微博数据，设置编码方式为 gbk。

2. 读取停用词文件，将停用词保存到一个列表中。

3. 定义函数 clean_text，用于去除 HTML 标签和表情符号。

4. 定义函数 remove_url_and_at，用于去除网址和@用户。

5. 定义函数 tokenize，用于分词，去除停用词和标点符号。

6. 对每条微博进行处理，包括去除 HTML 标签和表情符号、去除网址和@用户、分词，去除停用词和标点符号等步骤，将处理后的文本保存到新列中。

7. 将处理后的数据保存到新的 csv 文件中，设置编码方式为 gbk。

相关问题

聚类分析的结果怎么看？import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans from wordcloud import WordCloud import matplotlib.pyplot as plt # 读取中文文本数据 df = pd.read_csv('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/期末作业-操作.csv', encoding='gbk') # 设置停用词 stopwords = set() content = [line.strip() for line in open('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/hit_stopwords.txt','r',encoding='utf-8').readlines()] # print(content) stopwords.update(content) jieba.load_userdict(stopwords) # 对文本数据进行分词 df['content_cut'] = df['微博正文'].apply(lambda x: ' '.join(jieba.cut(x))) # print(df['content_cut']) # 构建TF-IDF矩阵 tfidf = TfidfVectorizer() tfidf_matrix = tfidf.fit_transform(df['content_cut']) print(tfidf_matrix) # 聚类分析 n_cluster = 3 kmeans = KMeans(n_clusters=n_cluster, random_state=0) kmeans.fit(tfidf_matrix) # 将聚类结果添加到原始数据中 df['cluster'] = kmeans.labels_

在这段代码中，通过对中文文本数据进行分词和构建 TF-IDF 矩阵，然后使用 KMeans 聚类算法将文本数据分为 n_cluster 个簇。每个簇代表一个主题或者一个类别，可以通过观察每个簇中的文本数据的内容来理解这个簇所代表的主题或类别。

在这里，我们可以通过查看每个簇中的文本数据来了解聚类结果。可以使用 Pandas 的 groupby 函数将原始数据按照 cluster 列进行分组，然后查看每个簇中的微博正文内容：

groups = df.groupby('cluster')
for i in range(n_cluster):
    print('Cluster %d:' % i)
    print(groups.get_group(i)['微博正文'].tolist())
    print()

此外，我们还可以使用词云图来可视化聚类结果。可以将每个簇中的微博正文内容合并为一个字符串，然后使用 WordCloud 库生成词云图。以下是示例代码：

for i in range(n_cluster):
    text = ' '.join(groups.get_group(i)['微博正文'].tolist())
    wordcloud = WordCloud(background_color='white', width=800, height=600).generate(text)
    plt.imshow(wordcloud)
    plt.axis('off')
    plt.show()

这样可以生成 n_cluster 张词云图，每张词云图代表一个簇。通过观察词云图中出现频率较高的词语，可以初步了解该簇所代表的主题或类别。

我的代码里怎么看聚类结果？df = pd.read_csv('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/期末作业-操作.csv', encoding='gbk') # 设置停用词 stopwords = set() content = [line.strip() for line in open('/Users/dashan/postgraduate/研一下/4_LIU_positive_compute/期末/期末作业-文本分析/hit_stopwords.txt','r',encoding='utf-8').readlines()] # print(content) stopwords.update(content) jieba.load_userdict(stopwords) # 对文本数据进行分词 df['content_cut'] = df['微博正文'].apply(lambda x: ' '.join(jieba.cut(x))) # print(df['content_cut']) # 构建TF-IDF矩阵 tfidf = TfidfVectorizer() tfidf_matrix = tfidf.fit_transform(df['content_cut']) print(tfidf_matrix) # 聚类分析 n_cluster = 3 kmeans = KMeans(n_clusters=n_cluster, random_state=0) kmeans.fit(tfidf_matrix) # 将聚类结果添加到原始数据中 df['cluster'] = kmeans.labels_ # 生成词云图 for i in range(n_cluster): text = ' '.join(df[df['cluster']==i]['content_cut']) wordcloud = WordCloud( stopwords=stopwords, background_color='white', width=800, height=600,font_path='/System/Library/Fonts/Supplemental/Songti.ttc').generate(text) plt.imshow(wordcloud) plt.axis('off') plt.show()

在你的代码中，聚类结果已经被存储在了 `df['cluster']` 列中，每个样本被分配到了一个聚类簇。你可以使用 Pandas 的一些函数来查看聚类结果，例如：

1. 查看每个聚类簇的样本数：

   print(df['cluster'].value_counts())

2. 查看每个聚类簇的样本：

   for i in range(n_cluster):
       print(f'Cluster {i}:')
       print(df[df['cluster']==i]['微博正文'])

你也可以通过可视化来更好地查看聚类结果。例如，你可以使用 Seaborn 的 `scatterplot` 函数绘制每个样本的分布情况，并使用不同的颜色表示不同的聚类簇：

import seaborn as sns

sns.scatterplot(x='x_axis', y='y_axis', hue='cluster', data=df)

其中，`x_axis` 和 `y_axis` 分别是你使用 PCA 或 t-SNE 降维后得到的两个维度，`hue` 参数指定了颜色映射的变量，即聚类簇。