帮我写一个用selenium的淘宝商品爬虫
时间: 2024-05-29 18:03:48 浏览: 84
python+selenium爬虫按关键词搜索实现自动化抓取淘宝商品写入mongodb数据库
好的,以下是一个简单的用selenium的淘宝商品爬虫的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# 设置要搜索的商品名
search_word = '手机'
# 设置chromedriver的路径
driver_path = '/path/to/chromedriver'
# 创建一个Chrome浏览器实例
driver = webdriver.Chrome(driver_path)
# 打开淘宝首页
driver.get('https://www.taobao.com')
# 找到搜索框并输入要搜索的商品名
search_box = driver.find_element_by_name('q')
search_box.send_keys(search_word)
search_box.send_keys(Keys.RETURN)
# 等待页面加载完成
time.sleep(5)
# 找到所有商品的div元素
items = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item"]')
# 遍历每个商品,并输出商品的名称和价格
for item in items:
title = item.find_element_by_xpath('.//img').get_attribute('alt')
price = item.find_element_by_xpath('.//div[@class="price g_price g_price-highlight"]/strong')
print(title + ': ' + price.text)
# 关闭浏览器
driver.quit()
```
这个爬虫的工作流程如下:
1. 创建一个Chrome浏览器实例
2. 打开淘宝首页
3. 找到搜索框并输入要搜索的商品名
4. 模拟按下回车键进行搜索
5. 等待页面加载完成
6. 找到所有商品的div元素
7. 遍历每个商品,并输出商品的名称和价格
8. 关闭浏览器
你可以根据自己的需要修改这个示例代码。例如,你可以将商品列表保存到数据库中,或者增加翻页功能来获取更多商品。
阅读全文