python爬取哔哩哔哩top100视频
时间: 2023-10-09 13:04:38 浏览: 164
python爬取网站视频资源
好的,以下是爬取哔哩哔哩top100视频的Python爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = 'https://www.bilibili.com/ranking'
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取排行榜列表
rank_list = soup.find('ul', class_='rank-list')
# 遍历排行榜列表,获取视频信息
for rank_item in rank_list.find_all('li'):
rank = rank_item.find('div', class_='num').text.strip()
title = rank_item.find('div', class_='info').find('a').text.strip()
link = rank_item.find('div', class_='info').find('a').get('href')
play_count = rank_item.find('div', class_='detail').find('span', class_='data-box').text.strip()
print(f'{rank}. {title} - 播放量: {play_count} - 链接: {link}')
```
这段代码使用了requests库和BeautifulSoup库来爬取哔哩哔哩的排行榜页面,并获取排行榜列表中每个视频的排名、标题、链接和播放量。你可以将代码保存到.py文件中并运行,即可得到哔哩哔哩top100视频的信息。
阅读全文