使用selenium完成京东商品的爬取,可以滚动爬取
时间: 2023-12-02 09:01:45 浏览: 84
selenium爬取京东商品信息.py.zip
可以的,使用Selenium可以模拟人类在浏览器中的操作,包括滚动页面。以下是一个示例代码,可以实现在京东上搜索指定商品并滚动页面,爬取所有商品信息:
```python
from selenium import webdriver
import time
# 设置浏览器
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=options)
# 打开京东搜索页面
driver.get('https://www.jd.com/')
driver.find_element_by_class_name('text').send_keys('商品名称')
driver.find_element_by_class_name('button').click()
time.sleep(3)
# 模拟滚动页面
for i in range(5):
driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
time.sleep(3)
# 爬取商品信息
product_list = driver.find_elements_by_class_name('gl-item')
for product in product_list:
product_name = product.find_element_by_css_selector('.p-name em').text
product_price = product.find_element_by_css_selector('.p-price i').text
print(product_name, product_price)
# 关闭浏览器
driver.quit()
```
注意,京东网站有反爬机制,为了避免被封IP,建议不要过于频繁地进行爬取操作。
阅读全文