使用selenium完成京东商品的爬取
时间: 2023-10-15 12:07:12 浏览: 62
京东商品的爬取可以使用Selenium和Python来完成。下面是一个简单的示例代码,演示如何使用Selenium和Python来爬取京东商品。
首先,需要安装Selenium和Chrome浏览器驱动。可以使用pip来安装Selenium:
```
pip install selenium
```
然后,下载Chrome浏览器驱动,可以在以下链接中下载:http://chromedriver.chromium.org/downloads
接下来,编写Python代码:
```python
from selenium import webdriver
import time
# 设置Chrome浏览器驱动路径
driver_path = "path/to/chromedriver"
driver = webdriver.Chrome(executable_path=driver_path)
# 打开京东商品页面
driver.get("https://www.jd.com/")
# 等待页面加载完成
time.sleep(5)
# 在搜索框中输入关键字并提交
search_box = driver.find_element_by_id("key")
search_box.send_keys("手机")
search_box.submit()
# 等待搜索结果页面加载完成
time.sleep(5)
# 获取所有商品的名称和价格,并输出到控制台
products = driver.find_elements_by_css_selector(".gl-item .p-name a")
prices = driver.find_elements_by_css_selector(".gl-item .p-price strong")
for i in range(len(products)):
print(products[i].text + " - " + prices[i].text)
# 关闭浏览器窗口
driver.quit()
```
这段代码首先设置Chrome浏览器驱动路径,然后打开京东网站并等待页面加载完成。接着,在搜索框中输入关键字“手机”并提交,然后等待搜索结果页面加载完成。最后,获取所有商品的名称和价格,并输出到控制台。
注意:在实际使用中,需要根据自己的需求修改代码中的一些参数,例如Chrome驱动路径、搜索关键字、等待时间等。另外,爬取京东商品存在反爬虫的风险,建议谨慎使用。
相关推荐
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)