python爬取网站内大量图片并保存到文件夹

在Python中，我们可以使用requests库来获取网页内容，然后BeautifulSoup或Scrapy这样的解析库来解析HTML结构，定位图片元素。以下是一个简单的示例，展示如何爬取一个包含大量图片的网页并将它们保存到本地文件夹：

import requests
from bs4 import BeautifulSoup
import os

# 定义目标URL和保存目录
url = 'https://example.com'  # 替换为你想要爬取的网站地址
save_dir = 'images'  # 图片保存的文件夹名

# 检查文件夹是否存在，如果不存在创建
if not os.path.exists(save_dir):
    os.makedirs(save_dir)

# 发送请求
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 解析图片标签，如img，找到src属性
image_tags = soup.find_all('img', src=True)

for img_tag in image_tags:
    img_url = img_tag['src']
    
    # 构建完整的下载链接
    full_img_url = url + img_url
    
    # 使用requests下载图片
    img_response = requests.get(full_img_url)
    
    # 给图片命名并保存到指定目录
    filename = os.path.join(save_dir, img_url.split('/')[-1])  # 获取原始url中的文件名
    with open(filename, 'wb') as f:
        f.write(img_response.content)
        
print("图片已成功下载并保存到文件夹：", save_dir)