python爬取动态网页图片

Python爬取动态网页图片通常涉及到使用Selenium库配合BeautifulSoup或者Scrapy框架。这是因为静态HTML页面的图片URL通常直接包含在HTML源码中，而动态加载的内容（如通过JavaScript异步请求的图片）则需要模拟浏览器行为。

以下是使用Selenium的基本步骤：

1. 安装必要的库：

   pip install selenium beautifulsoup4 requests webdriver_manager

2. 配置Webdriver (推荐Chrome或Firefox)：

   from webdriver_manager.chrome import ChromeDriverManager
   driver = webdriver.Chrome(ChromeDriverManager().install())

3. 打开网页并等待图片加载：

   driver.get('动态网页地址')
   time.sleep(5)  # 等待时间足够让图片加载完成

4. 使用BeautifulSoup抓取图片URLs：

   soup = BeautifulSoup(driver.page_source, 'html.parser')
   img_tags = soup.find_all('img')  # 查找所有的img标签
   img_urls = [img['src'] for img in img_tags]

5. 下载图片：

   for url in img_urls:
       response = requests.get(url)
       filename = url.split('/')[-1]  # 获取文件名
       with open(filename, 'wb') as f:
           f.write(response.content)

6. 关闭浏览器：

   driver.quit()