python爬虫处理图片懒加载

### 处理网页中的图片懒加载

对于处理网页上图片懒加载的情况，可以采用多种技术手段相结合的方式。当面对由 JavaScript 动态生成的页面内容时，传统的基于静态 HTML 的爬取方式无法有效工作，因为所需的 URL 或者图像资源可能仅在特定事件触发后才被加载。

#### 使用 Selenium 解决方案

Selenium 是一种强大的工具，能够模拟真实的浏览器行为，这对于应对复杂的前端交互特别有用。它允许自动化控制浏览器实例，从而执行诸如滚动、点击等动作来触发展开更多内容的行为[^2]。

from selenium import webdriver
import time

options = webdriver.ChromeOptions()
driver = webdriver.Chrome(options=options)

try:
    driver.get('目标网址')
    
    # 执行下拉操作以加载更多的图片
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        # 向下滑动到底部
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        
        # 等待新内容加载出来
        time.sleep(2)
        
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        
        last_height = new_height
    
finally:
    images = []
    img_elements = driver.find_elements_by_tag_name('img')  # 查找所有的<img>标签
    for element in img_elements:
        src = element.get_attribute('src') or element.get_attribute('data-src')
        if src and 'http' in src:  # 过滤掉相对路径或其他不符合条件的链接
            images.append(src)
            
    print(images[:10])  # 输出前十个图片url作为示例
            
    driver.quit()  # 关闭浏览器窗口

这段代码展示了如何利用 `selenium` 来模拟用户向下滚动的动作，直到没有新的图片被加载为止。之后遍历所有 `<img>` 标签，并尝试从其属性中提取有效的图片 URL 地址。

#### 结合 Requests 和 BeautifulSoup 技术

如果确认了懒加载机制依赖于 AJAX 请求，则可以直接分析网络请求，找出规律性的 API 接口调用来获取数据而无需完全渲染整个页面。这通常涉及到监控 HTTP 流量，识别出发送给服务器的具体参数模式，进而构建相应的查询字符串或 JSON 负载来进行批量抓取[^3]。