用python爬取b站搜索页面,并保存到excel表格中
时间: 2024-04-17 08:23:07 浏览: 126
网络爬虫-爬取在线课程并保存到Excel-Python源码示例.zip
5星 · 资源好评率100%
要将爬取的B站搜索结果保存到Excel表格中,您可以使用Python的`pandas`库来处理和导出数据。下面是修改后的代码示例:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
def crawl_bilibili_search(keyword):
url = f"https://search.bilibili.com/all?keyword={keyword}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
}
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")
search_results = soup.find_all("li", class_="video-item matrix")
data = []
for result in search_results:
title = result.find("a", class_="title").text.strip()
link = result.find("a", class_="title")["href"]
data.append({"标题": title, "链接": f"https:{link}"})
df = pd.DataFrame(data)
df.to_excel("bilibili_search_results.xlsx", index=False)
# 示例用法
crawl_bilibili_search("Python爬虫")
```
此代码将搜索结果存储在一个字典列表中,然后使用`pandas`库将其转换为DataFrame,并将DataFrame导出到名为"bilibili_search_results.xlsx"的Excel文件中。请确保您已经安装了`pandas`库(可以使用`pip install pandas`命令进行安装)。
阅读全文