python爬虫微博热搜并写入excle中
时间: 2023-07-13 08:39:33 浏览: 113
Python爬虫获取微博TOP50热搜+写入Excel
好的,我可以为您提供以下的思路:
1. 首先,需要安装 requests、beautifulsoup4 和 openpyxl 这三个库,可以通过 pip install requests、pip install beautifulsoup4、pip install openpyxl 命令进行安装。
2. 然后,使用 requests 库向微博热搜的 URL 发送请求,获取 HTML 页面。
3. 使用 beautifulsoup4 库解析 HTML 页面,获取热搜列表。
4. 使用 openpyxl 库创建一个 Excel 文件,并在第一个工作表中添加表头。
5. 遍历热搜列表,将每个热搜的排名、标题和热度写入 Excel 文件中。
以下是代码示例:
``` python
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
# 发送请求,获取 HTML 页面
url = 'https://s.weibo.com/top/summary?cate=realtimehot'
response = requests.get(url)
html = response.text
# 解析 HTML 页面,获取热搜列表
soup = BeautifulSoup(html, 'html.parser')
hot_list = soup.find('tbody').find_all('tr')
# 创建 Excel 文件,并添加表头
wb = Workbook()
ws = wb.active
ws.append(['排名', '标题', '热度'])
# 遍历热搜列表,将每个热搜的排名、标题和热度写入 Excel 文件中
for hot in hot_list:
rank = hot.find(class_='td-01').text.strip()
title = hot.find(class_='td-02').text.strip()
hotness = hot.find(class_='td-03').text.strip()
ws.append([rank, title, hotness])
# 保存 Excel 文件
wb.save('weibo_hot.xlsx')
```
请注意,该代码仅供参考,具体实现可能需要根据实际情况进行修改和优化。
阅读全文