import requests from lxml import etree from selenium import webdriver from selenium.webdriver.common.by import By import os import time import threading url = 'https://www.ivsky.com/' #目标网址 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } path = r'C:\Users\yangyuhuan\AppData\Local\Google\Chrome\Application\chromedriver' driver = webdriver.Chrome(executable_path=path) #申请驱动器 if not os.path.exists("./images"): os.mkdir("./images2") #创建结果文件夹 def download_image(src, name): img_url = "https:" + src res3 = requests.get(img_url, headers=headers).content #获取图片的二进制文件 time.sleep(3) print(f'正在下载：{name}') with open('./images/' + name + '.jpg', 'wb') as f: f.write(res3) def download_page(page): url = f"https://www.ivsky.com/bizhi/index_{page}.html" driver.get(url) response = driver.page_source # 获取网页源码 html = etree.HTML(response)# 对网页结构进行解析 time.sleep(3) src_image_result=html.xpath('//div[@class="il_img"]/a/img/@src') name_image_result=html.xpath('//div[@class="il_img"]/a/img/@alt') threads = [] for src,name in zip(src_image_result,name_image_result): t = threading.Thread(target=download_image, args=(src, name)) threads.append(t) t.start() for thread in threads: thread.join() for page in range(10):# 页码 download_page(page) driver.quit()对这个代码进行逐句的具体分析

这段代码的作用是爬取 https://www.ivsky.com/ 网站上的图片，并将其保存在本地文件夹中。

具体分析如下：

1. 导入必要的模块

import requests
from lxml import etree
from selenium import webdriver
from selenium.webdriver.common.by import By
import os
import time
import threading

- requests：用于发送 HTTP 请求并获取响应内容。
- lxml：用于对 HTML/XML 文档进行解析和处理。
- selenium：用于自动化测试，可以模拟用户在浏览器中的操作。
- os：用于操作文件和目录。
- time：用于添加延迟，防止频繁访问网站被封 IP。
- threading：用于实现多线程操作。

2. 设置目标网址和请求头

url = 'https://www.ivsky.com/' #目标网址
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

- 目标网址：需要爬取的网站链接。
- 请求头：模拟浏览器发送请求的头部信息，防止被网站识别为爬虫并拒绝访问。

3. 设置本地文件夹路径和 Chrome 驱动器路径

path = r'C:\Users\yangyuhuan\AppData\Local\Google\Chrome\Application\chromedriver' # Chrome 驱动器路径
driver = webdriver.Chrome(executable_path=path) #申请驱动器

if not os.path.exists("./images"):
    os.mkdir("./images") #创建结果文件夹

- path：Chrome 驱动器的路径。
- driver：使用 Chrome 驱动器打开网页。
- os.mkdir()：创建存储图片的文件夹。

4. 定义下载图片函数

def download_image(src, name):
    img_url = "https:" + src
    res3 = requests.get(img_url, headers=headers).content #获取图片的二进制文件
    time.sleep(3)
    print(f'正在下载：{name}')
    with open('./images/' + name + '.jpg', 'wb') as f:
        f.write(res3)

- src：图片的链接地址。
- name：图片的名称。
- img_url：拼接完整的图片链接地址。
- requests.get()：发送 GET 请求获取图片的二进制文件。
- time.sleep()：添加延迟，防止频繁访问网站被封 IP。
- with open()：将获取的图片二进制文件写入本地文件中。

5. 定义下载每一页的函数

def download_page(page):
    url = f"https://www.ivsky.com/bizhi/index_{page}.html"
    driver.get(url)
    response = driver.page_source  # 获取网页源码
    html = etree.HTML(response)# 对网页结构进行解析
    time.sleep(3)
    src_image_result=html.xpath('//div[@class="il_img"]/a/img/@src')
    name_image_result=html.xpath('//div[@class="il_img"]/a/img/@alt')
    threads = []
    for src,name in zip(src_image_result,name_image_result):
        t = threading.Thread(target=download_image, args=(src, name))
        threads.append(t)
        t.start()
    for thread in threads:
        thread.join()

- page：需要下载的网页页码。
- url：拼接目标网站的每一页链接地址。
- driver.get()：使用 Chrome 驱动器打开每一页。
- driver.page_source：获取每一页的 HTML 源码。
- etree.HTML()：对每一页的 HTML 源码进行解析。
- src_image_result 和 name_image_result：通过 xpath 解析出每一页的图片链接地址和名称。
- threading.Thread()：创建一个线程，使用 download_image() 函数下载图片。
- threads.append()：将线程加入线程池。
- t.start()：启动线程。
- thread.join()：等待线程执行完毕。

6. 循环遍历每一页并下载图片

for page in range(10): # 页码
    download_page(page)

driver.quit()

- range(10)：循环遍历前 10 页。
- download_page()：下载每一页的图片。
- driver.quit()：关闭 Chrome 驱动器。