python爬虫淘宝selenium

### 使用Python和Selenium实现淘宝网页自动化抓取

#### 准备工作
安装必要的库来支持Selenium的操作以及后续可能用到的数据存储功能。对于浏览器驱动的选择，无论是Edge还是Chrome都可以适用，只需调整相应的WebDriver初始化语句即可[^2]。

pip install selenium pymongo

#### 初始化 WebDriver
针对不同类型的浏览器创建对应的WebDriver实例，在这里以Chrome为例说明：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()))

若要切换至Edge，则替换为如下代码片段并确保已下载对应版本的Microsoft Edge Driver:

from selenium import webdriver
from selenium.webdriver.edge.service import Service as EdgeService
from webdriver_manager.microsoft import EdgeChromiumDriverManager

driver = webdriver.Edge(service=EdgeService(EdgeChromiumDriverManager().install()))

#### 访问目标页面
打开指定URL地址加载待爬取的目标网页，例如访问淘宝首页：

url = 'https://www.taobao.com'
driver.get(url)

#### 定位与交互元素
采用XPath作为主要手段定位页面上的各个组件，这是因为其灵活性较高且易于理解具体位置关系[^4]。下面给出一段示范性的代码用来查找搜索栏并通过它提交查询请求（假设ID为`q`代表商品关键词输入框）：

search_box = driver.find_element('xpath', '//input[@id="q"]')
search_box.send_keys('手机')  # 输入想要搜索的商品名称
submit_button = driver.find_element('xpath', '//button[@type="submit"]')
submit_button.click()

#### 数据收集
遍历返回的结果列表获取所需信息，比如商品标题、价格等字段，并将其保存下来以便进一步处理或存入数据库中。考虑到实际应用中的复杂性和多样性，此处仅提供基本框架供参考：

items = []
elements = driver.find_elements('css selector', '.items .item')

for element in elements:
    title = element.find_element('tag name', 'a').text
    price = element.find_element('class name', 'price').text
    
    items.append({
        "title": title,
        "price": price
    })

#### 存储数据至MongoDB
当完成一轮完整的采集流程之后，可以选择将获得的信息持久化到外部介质上，如使用MongoDB这样的NoSQL型数据库来进行管理[^3]:

client = MongoClient('localhost', 27017)
db = client['taobao']
collection = db['products']

for item in items:
    collection.insert_one(item)

print(f"{len(items)} records inserted.")

最后关闭浏览器窗口结束整个过程：

driver.quit()