舆情分析的Python实现

### 使用Python实现舆情分析

#### 环境准备
为了顺利进行微博舆情分析，推荐使用Python 3.6及以上版本，并安装一系列必要的库来支持不同阶段的任务执行。这其中包括`requests`用于发起网络请求获取数据；`pandas`负责结构化数据的操作与管理；借助`jieba`完成中文文本的分割工作以便后续处理；而`snownlp`或是`gensim`则能帮助理解文字背后的情绪倾向[^1]。

import requests
import pandas as pd
import jieba
from snownlp import SnowNLP

#### 获取并预处理数据
从微博平台抓取公开发布的帖子作为研究对象前，需先了解API接口文档或采用网页爬虫技术绕过官方限制访问所需资源。一旦获得原始HTML页面内容或其他形式的数据流之后，则要对其进行清洗转换成易于操作的形式，比如去除无关标签、统一编码格式等措施确保最终得到干净整洁的信息集合体供下一步骤调用[^2]。

def fetch_weibo_data(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.json()
    else:
        raise Exception('Failed to load page {}'.format(url))

data = fetch_weibo_data('https://example.com/api/weibos')
df = pd.DataFrame(data['weibos'])
print(df.head())

#### 进行情感分析
对于每一条经过初步筛选后的微博正文部分，利用自然语言处理工具包中的特定函数计算其正面程度得分，以此评估整体舆论氛围的好坏偏向情况。这里选用SnowNLP库里的简单方法来进行快速估算，当然也可以考虑集成更为先进的机器学习模型以提升预测精度。

sentiments_scores = []
for content in df['content']:
    s = SnowNLP(content)
    sentiments_scores.append(s.sentiments)

df['sentiment'] = sentiments_scores
positive_ratio = sum([score >= 0.5 for score in sentiments_scores]) / len(sentiments_scores)
negative_ratio = 1 - positive_ratio
print(f'Positive ratio: {positive_ratio:.2f}, Negative ratio: {negative_ratio:.2f}')

#### 关键词提取与主题发现
针对大量无序的文字材料，可以运用TF-IDF算法自动识别出最具代表性的若干词汇反映当前讨论热点所在领域方向。此外还可以尝试LDA（Latent Dirichlet Allocation）建模找出隐藏于表面之下的潜在话题类别分布状况，从而为进一步深入挖掘提供线索指引。

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=10, stop_words='english', analyzer=lambda doc: list(jieba.cut(doc)))
tfidf_matrix = vectorizer.fit_transform(df['content']).toarray()

feature_names = vectorizer.get_feature_names_out()
top_keywords = [(name, tfidf_matrix[:, idx].sum()) for name, idx in zip(feature_names, range(len(feature_names)))]
sorted_top_keywords = sorted(top_keywords, key=lambda x:x[1], reverse=True)[:10]

print("Top Keywords:", [kw[0] for kw in sorted_top_keywords])

#### 可视化展示结果
最后一步就是把前面所得的各种统计数据直观形象地呈现出来便于观察者理解和分享交流研究成果。Matplotlib和Seaborn都是非常优秀的绘图库选项之一，在此仅举几个例子说明可能的应用场景[^3]。

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(8, 6))
sns.barplot(x=[kw[0] for kw in sorted_top_keywords], y=[kw[1] for kw in sorted_top_keywords])
plt.title('Top Keywords Frequency Distribution')
plt.show()

labels = ['Positive', 'Negative']
sizes = [positive_ratio * 100, negative_ratio * 100]
colors = ['#ff9999','#66b3ff']

plt.pie(sizes, labels=labels, colors=colors, autopct='%1.1f%%', startangle=90)
plt.axis('equal')  
plt.title('Sentiment Analysis Result')
plt.show()