python 爬虫遇见 iframe 多层嵌套如何解决

如果遇到 iframe 多层嵌套的情况，可以使用 Selenium 模拟浏览器操作来解决。

Selenium 可以模拟用户在浏览器中的操作，比如点击、输入、滚动等。通过 Selenium，我们可以打开一个网页，并模拟用户操作来获取页面上的数据。

具体来说，可以按照以下步骤进行：

1. 安装 Selenium 库

pip install selenium

2. 下载对应的浏览器驱动，并将其添加到 PATH 环境变量中。如果使用的是 Chrome 浏览器，则需要下载 ChromeDriver，下载地址为：http://chromedriver.chromium.org/downloads。

3. 在 Python 中使用 Selenium 进行爬虫操作。具体可参考以下示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 创建 Chrome 浏览器实例
driver = webdriver.Chrome()

# 打开网页
driver.get("http://example.com")

# 等待 iframe 加载完成
wait = WebDriverWait(driver, 10)
iframe = wait.until(EC.presence_of_element_located((By.XPATH, "//iframe")))

# 切换到 iframe 中
driver.switch_to.frame(iframe)

# 获取 iframe 中的元素
element = driver.find_element_by_xpath("//div")

# 切换回主页面
driver.switch_to.default_content()

# 关闭浏览器
driver.quit()

在上述代码中，首先创建了一个 Chrome 浏览器实例，并打开了一个网页。然后，使用 WebDriverWait 类等待 iframe 元素加载完成，然后切换到 iframe 中，并获取其中的元素。最后，切换回主页面，关闭浏览器。

需要注意的是，Selenium 模拟浏览器操作的速度比较慢，如果需要爬取大量数据，建议使用其他方式。