python爬取微博榜
时间: 2023-08-13 07:06:20 浏览: 123
毕设 今日热榜项目TopList的Python实现,异步爬取微博热榜,知乎,V2EX,GIthub,通过Flask展示。.zip
您好!要爬取微博榜,您可以使用Python中的requests和BeautifulSoup库来获取和解析网页内容。下面是一个简单的示例代码,用于获取微博热搜榜的数据:
```python
import requests
from bs4 import BeautifulSoup
url = "https://s.weibo.com/top/summary?cate=realtimehot"
# 发起请求获取页面内容
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(html, "html.parser")
# 找到热搜榜的列表
hot_list = soup.select(".td-02 a")
# 打印热搜榜的内容
for hot in hot_list:
print(hot.text)
```
这段代码会输出微博热搜榜中的内容。您可以根据自己的需求进一步处理这些数据,比如存储到文件或者进行进一步的分析。请注意,爬取网页内容时需要遵守网站的使用规范,并尊重相关法律法规。
阅读全文