使用python编一段抓取哔哩哔哩的动漫
时间: 2023-07-27 13:07:47 浏览: 155
使用Python来看看动漫中的你
好的,以下是一个简单的Python程序,可以使用requests和beautifulsoup4库抓取哔哩哔哩网站上的动漫并下载到本地:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标动漫的url
url = 'https://www.bilibili.com/anime/'
# 发送请求,获取页面内容
response = requests.get(url, headers=headers)
html = response.text
# 解析页面内容
soup = BeautifulSoup(html, 'html.parser')
# 找到动漫的标签
anime_tags = soup.find_all('a', {'class': 'title'})
# 获取动漫的url和标题
for anime_tag in anime_tags:
anime_url = anime_tag.get('href')
anime_title = anime_tag.get('title')
# 发送请求,获取动漫页面内容
response = requests.get(anime_url, headers=headers)
html = response.text
# 解析动漫页面内容
soup = BeautifulSoup(html, 'html.parser')
video_tags = soup.find_all('a', {'class': 'ep-item'})
# 获取动漫的视频url和标题
for video_tag in video_tags:
video_url = 'https:' + video_tag.get('href')
video_title = video_tag.get('title')
# 发送下载请求,保存视频到本地
response = requests.get(video_url, headers=headers)
with open(f'{anime_title}-{video_title}.mp4', 'wb') as f:
f.write(response.content)
```
这段代码假设要抓取哔哩哔哩网站上的动漫,从 https://www.bilibili.com/anime/ 这个页面开始,依次遍历每个动漫的页面,再依次遍历每个视频的页面。如果需要抓取其他类型的视频,可以修改url和解析页面的代码。注意,这段代码会下载非常多的视频,请确保你有足够的磁盘空间。
阅读全文