使用selenium完成京东商品的爬取
时间: 2023-10-15 11:08:29 浏览: 30
首先,你需要安装selenium和webdriver。selenium可以通过pip进行安装,而webdriver需要根据你所使用的浏览器进行下载。例如,如果你使用的是Chrome浏览器,则需要下载ChromeDriver。
接下来,我们可以编写Python脚本来实现京东商品的爬取。以下是一个简单的示例代码:
```python
from selenium import webdriver
import time
# 设置ChromeDriver的路径
driver_path = '/path/to/chromedriver'
# 创建Chrome浏览器对象
browser = webdriver.Chrome(executable_path=driver_path)
# 访问京东首页
browser.get('https://www.jd.com/')
# 在搜索框中输入关键字并搜索
search_box = browser.find_element_by_id('key')
search_box.send_keys('手机')
search_box.submit()
# 遍历搜索结果并输出商品名称和价格
product_list = browser.find_elements_by_class_name('gl-item')
for product in product_list:
name = product.find_element_by_css_selector('.p-name a em').text.strip()
price = product.find_element_by_css_selector('.p-price i').text.strip()
print(name, price)
# 等待5秒后关闭浏览器
time.sleep(5)
browser.quit()
```
在这个示例中,我们首先创建了一个Chrome浏览器对象,然后访问了京东首页并在搜索框中输入了关键字“手机”。接着,我们遍历了搜索结果并输出了每个商品的名称和价格。最后,我们等待5秒钟并关闭了浏览器。你可以根据自己的需求修改代码来完成更加复杂的任务。
相关推荐
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)