selenium 爬取ajax动态网页

要使用Selenium爬取ajax动态网页，可以使用Selenium执行JavaScript脚本来模拟用户操作，例如点击按钮或下拉滚动条等，以此来触发ajax请求并获取动态内容。具体步骤如下：

1. 安装Selenium和ChromeDriver（或其他浏览器的驱动程序）
2. 使用Selenium打开目标网页
3. 执行JavaScript脚本模拟用户操作，触发ajax请求并获取动态内容
4. 解析获取到的内容

以下是一个简单的示例代码：

from selenium import webdriver
import time

# 创建浏览器驱动程序对象
driver = webdriver.Chrome('path/to/chromedriver')

# 打开目标网页
driver.get('http://example.com')

# 模拟用户操作，点击按钮或下拉滚动条等，触发ajax请求
# 这里以下拉滚动条为例
for i in range(10):
    # 执行JavaScript脚本，将页面滚动到底部
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
    time.sleep(1)  # 等待页面加载

# 获取动态内容并解析
dynamic_content = driver.page_source  # 获取当前页面的HTML源码
# 解析HTML源码，提取需要的内容

# 关闭浏览器驱动程序对象
driver.quit()