python爬取微博热搜数据
时间: 2023-08-26 13:06:25 浏览: 98
可以使用 Python 的第三方库 requests 和 BeautifulSoup 来爬取微博热搜数据。
首先,我们需要找到微博热搜的网址,例如:https://s.weibo.com/top/summary?cate=realtimehot。
然后,使用 requests 库来发送 GET 请求获取网页内容,并使用 BeautifulSoup 库来解析网页内容,找到我们需要的热搜榜数据。
下面是一个爬取微博热搜数据的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://s.weibo.com/top/summary?cate=realtimehot'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到热搜榜的标签
hot_list = soup.find_all('td', class_='td-02')
# 遍历热搜榜,获取每个热搜的信息
for hot in hot_list:
# 获取热搜排名
rank = hot.find('span', class_='hot').text.strip('热')
# 获取热搜标题
title = hot.find('a').text
# 获取热度
heat = hot.find('span', class_='s').text
print(rank, title, heat)
```
这段代码会输出微博热搜的排名、标题和热度信息。你可以根据自己的需求进行更改和扩展。
阅读全文