帮我写一份可以自动抓取网页图片的爬虫代码
时间: 2024-06-10 21:04:46 浏览: 150
好的,以下是可以自动抓取网页图片的Python爬虫代码示例(代码中的URL只是示例,请根据实际需要更改):
```python
import requests
import os
from bs4 import BeautifulSoup
# 定义函数,传入图片的URL、文件名及保存路径,实现图片下载与保存
def download_image(image_url, filename, save_path):
if not os.path.exists(save_path):
os.makedirs(save_path)
with open(save_path + '/' + filename, 'wb') as f:
f.write(requests.get(image_url).content)
# 定义函数,传入网页URL,爬取页面中的图片链接,并调用download_image函数逐个下载与保存
def parse_images(url, save_path):
html = requests.get(url).text
soup = BeautifulSoup(html, 'html.parser')
img_tags = soup.find_all('img')
for img_tag in img_tags:
try:
image_url = img_tag['src']
filename = image_url.split('/')[-1]
download_image(image_url, filename, save_path)
except:
pass
# 调用函数,传入网页URL及保存路径
parse_images('https://www.example.com/', 'example_images')
```
该爬虫代码利用requests库下载网页HTML源代码,使用BeautifulSoup库解析HTML获取页面中的图片链接,最后调用download_image函数逐个下载图片并保存到指定的本地路径中。请按照实际情况修改函数参数,以适应您的需求。
阅读全文