用python爬虫爬取百度热搜的关键词,点击量,话题排名,写入xlsx表格
时间: 2023-07-12 21:38:50 浏览: 190
Python爬虫获取微博TOP50热搜+写入Excel
好的,以下是一个爬取百度热搜的关键词、点击量、话题排名,并将数据写入xlsx表格的示例代码。需要使用到 requests、beautifulsoup4 和 openpyxl 库。
```python
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
# 发送HTTP请求
url = 'https://top.baidu.com/board?tab=realtime'
response = requests.get(url)
# 解析HTML页面
soup = BeautifulSoup(response.text, 'html.parser')
# 获取热搜列表
hot_list = soup.find_all('div', {'class': 'c-single-text-ellipsis'})
# 创建xlsx工作簿
wb = Workbook()
ws = wb.active
# 写入表头
ws['A1'] = '话题排名'
ws['B1'] = '关键词'
ws['C1'] = '点击量'
# 写入热搜数据
for i, hot in enumerate(hot_list):
rank = i + 1
keyword = hot.find('a').text
clicks = hot.find('span').text
ws['A' + str(i + 2)] = rank
ws['B' + str(i + 2)] = keyword
ws['C' + str(i + 2)] = clicks
# 保存xlsx工作簿
wb.save('hot.xlsx')
```
这个示例爬取了百度热搜的关键词、点击量、话题排名,并将数据写入了hot.xlsx表格。您可以根据自己的需要修改代码来爬取其他网站并将数据写入其他类型的文件。注意,在爬取网站时,请遵守网站的使用条款和隐私政策,以免触犯法律或伤害他人。
阅读全文