使用selenium做翻页处理爬取10页数据信息的代码

在Python中使用Selenium进行网页爬虫并处理翻页功能，通常需要先安装Selenium库、浏览器驱动以及相关的HTTP客户端库如requests（用于模拟浏览器）。以下是一个简单的例子，展示如何遍历10页抓取数据：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 初始化浏览器
driver = webdriver.Chrome()  # 如果是Chrome，这里替换为你实际的驱动路径
base_url = "https://example.com/page="  # 网页的基本URL，你需要替换为实际的页面地址
page_count = 10

for i in range(1, page_count + 1):
    url = base_url + str(i)  # 构建当前页的URL
    driver.get(url)

    # 模拟用户等待页面加载完成
    time.sleep(3)

    # 查找并获取数据元素（假设是class为"data-item"的元素）
    data_elements = driver.find_elements(By.CLASS_NAME, "data-item")
    
    for item in data_elements:
        # 提取数据，例如文本内容
        data_text = item.text
        print(f"Page {i}: {data_text}")

    # 翻到下一页（如果存在）
    next_page_button = driver.find_element(By.XPATH, '//*[@id="next-page"]')  # 需要找到下一个页面按钮的定位方式，这取决于网站结构
    if next_page_button.is_displayed():
        next_page_button.click()
    else:
        break  # 如果找不到下一页，跳出循环

# 关闭浏览器
driver.quit()