在python中使用selenium爬虫京东商品
时间: 2023-11-09 14:09:13 浏览: 148
使用selenium和pyquery爬取京东商品列表过程解析
好的,下面我将为您提供一个简单的Python脚本,演示如何使用selenium爬虫京东商品。
首先,您需要安装selenium库和Chrome浏览器驱动程序,您可以使用以下命令在终端中安装它们:
```
pip install selenium
```
然后,您需要下载适用于您的Chrome浏览器版本的ChromeDriver。您可以在以下网址中下载适用于不同操作系统的ChromeDriver:
https://sites.google.com/a/chromium.org/chromedriver/downloads
下载后,将ChromeDriver解压缩并将其路径添加到环境变量中。
接下来,您可以使用以下Python代码来爬取京东商品:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 设置ChromeDriver路径和打开的网址
chromedriver_path = "/path/to/chromedriver"
url = "https://www.jd.com/"
# 打开浏览器
driver = webdriver.Chrome(chromedriver_path)
driver.get(url)
# 输入搜索关键字
search_box = driver.find_element_by_id("key")
search_box.send_keys("手机")
search_box.send_keys(Keys.RETURN)
# 等待页面加载完成
driver.implicitly_wait(10)
# 获取商品列表
products = driver.find_elements_by_class_name("gl-item")
# 输出商品信息
for product in products:
name = product.find_element_by_css_selector(".p-name em").text
price = product.find_element_by_css_selector(".p-price i").text
print(name, price)
# 关闭浏览器
driver.quit()
```
解释一下代码:
1. 首先,我们导入了webdriver和Keys类,后者用于模拟键盘操作。
2. 然后,我们设置了ChromeDriver的路径和要打开的网址。
3. 接着,我们打开了浏览器并访问了京东首页。
4. 我们找到了搜索框并输入了关键字“手机”,然后按下了回车键。
5. 等待页面加载完成后,我们获取了商品列表。
6. 最后,我们遍历商品列表并输出每个商品的名称和价格。
7. 最后,我们关闭了浏览器。
希望这个示例对您有所帮助!如果您需要更复杂的爬虫功能,您可以进一步研究selenium文档或使用其他Python爬虫库。
阅读全文