用python爬取b站搜索页面
时间: 2024-04-17 08:23:10 浏览: 8
您可以使用Python中的`requests`库和`BeautifulSoup`库来爬取B站搜索页面。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def crawl_bilibili_search(keyword):
url = f"https://search.bilibili.com/all?keyword={keyword}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
}
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")
search_results = soup.find_all("li", class_="video-item matrix")
for result in search_results:
title = result.find("a", class_="title").text.strip()
link = result.find("a", class_="title")["href"]
print(f"标题:{title}")
print(f"链接:https:{link}\n")
# 示例用法
crawl_bilibili_search("Python爬虫")
```
请注意,这只是一个简单的示例,具体的网页结构可能会有变化,您可能需要根据实际情况进行适当的调整。此外,爬取网页时请遵守网站的使用规则和爬虫道德准则。