python 爬取微博疫情新闻代码
时间: 2023-03-08 11:08:25 浏览: 163
南京大学软件学院数据科学大作业-运用Python爬虫实现对多个重要媒体微博的爬取,并筛选出与疫情相关且热度较高的微博+源代码+文
下面是一份简单的 Python 代码示例,可以爬取微博上关于疫情的新闻:
```
import requests
from bs4 import BeautifulSoup
url = 'https://weibo.com/search/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
keyword = '疫情'
params = {
'keyword': keyword
}
res = requests.get(url, headers=headers, params=params)
soup = BeautifulSoup(res.text, 'html.parser')
weibo_list = soup.find_all('div', {'class': 'card-wrap'})
for weibo in weibo_list:
print(weibo.find('p').text)
```
这段代码使用了 `requests` 库和 `BeautifulSoup` 库,需要先安装这两个库。它通过构造 URL 访问微博的搜索页面,并使用 BeautifulSoup 解析 HTML,抓取微博列表中的文字内容并打印出来。请注意,这份代码仅作为示例,实际使用中可能需要根据微博的页面结构进行调整。
阅读全文