python爬取B站TOP100排行榜 并存入csv文件,文件包括的字段:视频标题、视频地址、作者、播放数、弹幕数
时间: 2023-12-20 09:07:11 浏览: 163
基于python实现爬取B站小视频之获取要下载视频的大小附项目源码
好的,我可以帮你实现这个功能。首先需要安装requests、beautifulsoup4和pandas这三个Python库。
以下是实现代码:
```python
import requests
import pandas as pd
from bs4 import BeautifulSoup
# 获取B站TOP100排行榜页面源码
url = 'https://www.bilibili.com/v/popular/rank/all'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
response = requests.get(url, headers=headers)
html = response.text
# 解析HTML源码
soup = BeautifulSoup(html, 'html.parser')
# 获取视频信息
video_list = []
rank_list = soup.select('.rank-list > .rank-item')
for rank_item in rank_list:
title = rank_item.select_one('.title').text.strip()
href = rank_item.select_one('.title')['href']
author = rank_item.select_one('.detail .info a').text
play = rank_item.select_one('.detail .info span').text
danmu = rank_item.select('.detail .detail-rcnt')[1].text
video_list.append([title, href, author, play, danmu])
# 存储为CSV文件
df = pd.DataFrame(video_list, columns=['title', 'href', 'author', 'play', 'danmu'])
df.to_csv('B站TOP100排行榜.csv', index=None)
```
运行代码后,会生成一个名为“B站TOP100排行榜.csv”的文件,里面包含了视频标题、视频地址、作者、播放数、弹幕数等字段信息。
阅读全文