利用爬虫爬取网站图片并保存&Python

好的，这是一个非常常见的 Python 爬虫任务。我可以为您提供一些基本的思路和代码示例来实现这个功能。

首先，您需要使用 Python 的 requests 库来获取网页内容，以及使用 BeautifulSoup 库来解析 HTML 页面。您还需要使用 Python 的 os 和 urllib 库来创建目录和保存图片。

以下是一个基本的示例代码，可以爬取指定网页中的所有图片，并将它们保存在本地文件夹中：

import requests
from bs4 import BeautifulSoup
import os
import urllib

# 定义要爬取的网页 URL 和本地保存路径
url = 'http://example.com'
save_folder = 'images'

# 创建本地保存路径
if not os.path.exists(save_folder):
    os.makedirs(save_folder)

# 发送请求并解析 HTML 页面
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 查找所有 img 标签并下载图片
for img in soup.find_all('img'):
    img_url = img.get('src')
    if img_url.startswith('http'):
        img_name = img_url.split('/')[-1]
        img_path = os.path.join(save_folder, img_name)
        urllib.request.urlretrieve(img_url, img_path)

这段代码首先定义了要爬取的网页 URL 和本地保存路径，然后创建了本地保存路径。接下来，使用 requests 库发送请求并使用 BeautifulSoup 库解析 HTML 页面。然后，查找所有 img 标签并下载图片，将其保存在本地指定路径中。

需要注意的是，这个示例代码只能下载图片，如果您需要下载其他类型的文件，可能需要使用不同的方式来处理文件名和文件类型。同时，注意网站的版权问题，不要下载未经授权的文件。