使用python爬取百度贴吧排行榜
时间: 2023-07-20 14:24:01 浏览: 230
基于python爬虫对百度贴吧进行爬取的设计与实现.docx
5星 · 资源好评率100%
好的,下面是使用 Python 爬取百度贴吧排行榜的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 发送请求
url = "https://tieba.baidu.com/hottopic/browse/topicList"
response = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(response.content, "html.parser")
topic_list = soup.find_all("div", class_="topic-item")
# 遍历数据
for topic in topic_list:
title = topic.find("a", class_="topic-text").text
rank = topic.find("span", class_="topic-rank-num").text
print(f"排名:{rank},标题:{title}")
```
这个程序首先使用 requests 库发送了一个 GET 请求到百度贴吧排行榜页面,然后使用 BeautifulSoup 库解析HTML页面,获取排行榜中的所有话题。
在遍历每个话题时,我们使用 find() 函数找到话题的标题和排名,并打印输出。运行这个程序,您将看到百度贴吧排行榜中的所有热门话题的排名和标题。
阅读全文