写一个python爬虫,爬取哔哩哔哩主页面的图片
时间: 2023-08-25 09:57:00 浏览: 248
Python爬虫哔哩哔哩专栏图片下载,配有代码注释.zip
当涉及爬取网站内容时,请确保你遵守相关网站的使用条款和法律法规。下面是一个基本的Python爬虫示例,用于爬取哔哩哔哩主页面的图片:
```python
import requests
from bs4 import BeautifulSoup
import os
# 定义保存图片的文件夹路径
save_dir = 'bilibili_images'
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# 发送HTTP GET请求获取主页面内容
url = 'https://www.bilibili.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有图片标签
img_tags = soup.find_all('img')
# 遍历图片标签,保存图片
for img in img_tags:
img_url = img['src']
# 如果图片链接是相对路径,则拼接完整链接
if not img_url.startswith('http'):
img_url = url + img_url
# 发送HTTP GET请求获取图片内容
img_response = requests.get(img_url)
# 获取图片文件名
img_file_name = img_url.split('/')[-1]
# 保存图片到指定文件夹
with open(os.path.join(save_dir, img_file_name), 'wb') as f:
f.write(img_response.content)
print(f'Saved image: {img_file_name}')
```
请注意,这只是一个简单的示例,实际使用时可能需要处理更多的异常情况和优化。此外,爬取网站内容时,请确保遵守网站的使用规则和不侵犯他人的权益。
阅读全文