python爬取淘宝商品信息selenium
时间: 2023-10-05 12:05:12 浏览: 158
selenium-taobao-python
你可以使用Selenium来爬取淘宝商品信息。下面是一个简单的示例代码,演示了如何使用Selenium在Python中进行淘宝商品信息爬取:
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 设置Chrome浏览器的驱动路径
driver_path = 'path/to/chromedriver'
# 初始化Chrome浏览器
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 无头模式,不显示浏览器界面
driver = webdriver.Chrome(executable_path=driver_path, options=options)
# 打开淘宝商品页面
driver.get('https://www.taobao.com/')
# 定位搜索框并输入关键字
search_input = driver.find_element(By.CSS_SELECTOR, '#q')
search_input.send_keys('商品关键字')
# 点击搜索按钮
search_button = driver.find_element(By.CSS_SELECTOR, '.btn-search')
search_button.click()
# 等待搜索结果加载完成
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '.JIIxO.m-itemlist')))
# 解析搜索结果并提取商品信息
items = driver.find_elements(By.CSS_SELECTOR, '.JIIxO.m-itemlist .JIIxO.m-itemlist .JIIxO')
for item in items:
title = item.find_element(By.CSS_SELECTOR, '.title').text
price = item.find_element(By.CSS_SELECTOR, '.price').text
print(f'商品名称:{title},价格:{price}')
# 关闭浏览器
driver.quit()
```
请注意,这只是一个简单的示例代码,实际应用中可能需要更多的处理和错误处理。此外,淘宝网站有一些反爬虫机制,因此在实际使用时需要注意遵守相关规定,避免被封禁。
阅读全文