python爬虫爬图片案例

Python爬虫抓取图片通常涉及使用requests库获取网页内容，然后解析HTML结构找到图片链接，最后使用像BeautifulSoup、Pandas或正则表达式等工具来提取这些链接。这里是一个简单的例子，假设我们要从一个博客网站上批量下载文章配图：

import requests
from bs4 import BeautifulSoup
import os

# 目标URL
url = 'https://example.com/blog'

# 发送GET请求
response = requests.get(url)

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 查找所有的img标签
img_tags = soup.find_all('img')

# 创建保存图片的目录，如果不存在
if not os.path.exists('images'):
    os.makedirs('images')

# 遍历图片标签，下载图片
for img_tag in img_tags:
    img_url = img_tag['src']
    
    # 确保链接有效并处理相对路径
    if 'http' not in img_url:
        img_url = url + '/' + img_url
    
    try:
        response_img = requests.get(img_url)
        with open(os.path.join('images', img_url.split('/')[-1]), 'wb') as f:
            f.write(response_img.content)
        print(f'{img_url} saved')
    except Exception as e:
        print(f'Error downloading {img_url}: {e}')