python爬虫抓取网页图片前5页

Python爬虫抓取网页图片通常会利用requests库获取HTML页面内容，然后解析HTML文档，找到图片链接（通常是通过`<img>`标签的`src`属性）。针对前5页的抓取，可以采用循环的方式递增URL，每次抓取一页并保存图片。以下是一个简单的步骤：

1. 导入所需的库：如`requests`, `BeautifulSoup`（用于解析HTML）, 和`os`（操作文件系统）。

import requests
from bs4 import BeautifulSoup
import os

2. 定义函数，负责获取单页的图片链接，并下载图片：

def get_images(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到所有<img>标签
    img_tags = soup.find_all('img')
    
    for img_tag in img_tags:
        src = img_tag['src']
        if is_valid_image_url(src):  # 根据需要判断是否为有效的图片URL
            save_image(src)

def save_image(url):
    image_data = requests.get(url).content
    filename = url.split('/')[-1]  # 获取图片名
    with open(filename, 'wb') as f:
        f.write(image_data)
    print(f'Saved image: {filename}')

def is_valid_image_url(url):
    # 添加验证规则，比如检查是否以常见的图片协议开头（http、https等）
    return url.startswith(('http://', 'https://'))

# 主程序开始
for page_number in range(1, 6):  # 假设每页的URL结构一致
    base_url = f'https://example.com/page{page_number}'  # 请替换为实际网站的URL
    get_images(base_url)

3. 注意事项：
- 爬虫操作需遵守目标网站的robots.txt规定，尊重版权。
- 如果网站有反爬机制（例如验证码、IP限制），可能需要处理这些问题。
- 使用代理IP、设置延时等策略，防止过于频繁请求导致IP被封禁。