使用selenium做翻页处理爬取10页淘宝网的数据信息的代码

在使用Selenium做网页爬取并处理翻页功能时，首先需要安装Python的Selenium库以及对应的WebDriver（如ChromeDriver）。以下是一个基本的示例代码片段，它展示了如何通过Selenium遍历10页淘宝网的商品数据。请注意，由于淘宝网站可能会有反爬虫机制，实际操作时需要遵守其Robots协议，并尽可能模拟人类用户行为以降低被封禁的风险。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化浏览器驱动
driver = webdriver.Chrome(executable_path='path_to_chromedriver')

base_url = 'https://www.taobao.com/search?q=your_search_term&pn='  # 搜索关键词替换为实际搜索内容
max_pages = 10

for page in range(1, max_pages + 1):
    url = base_url + str(page)  # 构造每一页的URL
    driver.get(url)

    # 等待元素加载完成，这取决于页面结构
    wait = WebDriverWait(driver, 10)
    products = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'div.product-item')))

    for product in products:
        # 提取商品信息，例如title、price等，这里仅作为示例，实际需要替换为相应的CSS选择器或XPath
        title = product.find_element_by_css_selector('.product-title').text
        price = product.find_element_by_css_selector('.price').text

        # 打印或保存数据
        print(f"Page {page}, Title: {title}, Price: {price}")

# 关闭浏览器
driver.quit()