如何用python爬取百度热搜数据
时间: 2023-09-30 13:08:27 浏览: 194
【python爬虫源代码】用python爬取百度搜索的搜索结果!
5星 · 资源好评率100%
你可以使用Python中的requests和BeautifulSoup库来爬取百度热搜数据。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://top.baidu.com/buzz?b=1&fr=topindex' # 百度热搜URL
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
# 获取热搜榜单列表
top_list = soup.select('.list-table tr')
# 输出每一项的排名、标题和搜索指数
for item in top_list:
rank = item.select('.first')[0].text # 排名
title = item.select('.keyword a')[0].text # 标题
search_index = item.select('.last')[0].text # 搜索指数
print(rank, title, search_index)
```
这个示例代码从百度热搜页面获取了热搜榜单列表,然后输出了每一项的排名、标题和搜索指数。你可以根据自己的需求修改代码来获取更多的信息。
阅读全文