python爬取动态网页图片使用cookies

在Python中，特别是使用`requests`库爬取动态网页图片并处理Cookies，通常需要结合`selenium`库来模拟浏览器行为。这是因为有些网页依赖JavaScript动态加载内容，包括图片。以下是基本步骤：

1. **安装必要的库**：
首先，确保已安装`requests`, `selenium`和`webdriver_manager`库。如果没有，可以使用`pip install requests selenium webdriver_manager`命令。

2. **设置WebDriver**：
`selenium`需要一个Webdriver（浏览器驱动程序），比如ChromeDriver。下载对应版本的Webdriver，并将其添加到环境路径中。例如，使用`webdriver_manager`自动管理，可以这么导入：

from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

3. **登录获取Cookies**：
如果网站有登录功能，通过`selenium`打开浏览器，输入用户名和密码，然后访问需要抓取图片的页面，获取登录后的Cookies。可以参考以下代码片段：

driver.get('http://your-login-page')
username_input = driver.find_element_by_name('username')
password_input = driver.find_element_by_name('password')
username_input.send_keys('your_username')
password_input.send_keys('your_password')
login_button = driver.find_element_by_id('login-button')
login_button.click()

# 获取Cookies
cookies_dict = driver.get_cookies()

4. **设置请求头中的Cookies**：
将Cookies添加到`requests`请求的头部，以便后续的GET请求能携带登录信息：

import requests
headers = {}
for cookie in cookies_dict:
    headers[cookie['name']] = cookie['value']

url = 'http://target-image-url'
response = requests.get(url, headers=headers)

5. **保存图片**：
获取到响应后，检查图片数据是否存在，如果存在就保存到本地：

if response.status_code == 200:
    with open('image.jpg', 'wb') as f:
        f.write(response.content)
else:
    print(f"Failed to fetch image, status code: {response.status_code}")