用python做网络舆情分析代码
时间: 2023-12-17 22:02:14 浏览: 99
以下是一个简单的Python代码示例,用于从新浪新闻网站上抓取新闻标题,并使用jieba分词工具对标题进行分词和词频统计:
```python
import requests
from bs4 import BeautifulSoup
import jieba
from collections import Counter
# 抓取新浪新闻头条页面
url = 'http://news.sina.com.cn/hotnews/'
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
# 获取所有新闻标题
titles = []
for news in soup.select('.news-item'):
titles.append(news.select('a')[0].text)
# 对标题进行分词和词频统计
words = []
for title in titles:
words += jieba.cut(title)
word_freq = Counter(words).most_common(10)
# 输出词频统计结果
for w, f in word_freq:
print(w, f)
```
这段代码首先使用requests库和BeautifulSoup库抓取新浪新闻头条页面,并获取所有新闻标题。然后,使用jieba库对标题进行分词,并使用collections库中的Counter类进行词频统计。最后,输出词频最高的前10个词语及其出现次数。
阅读全文