py 用Selenium给我一个爬取京东价格的示例
时间: 2023-06-15 19:08:38 浏览: 195
好的,以下是一个简单的使用 Selenium 爬取京东商品价格的示例代码:
```python
from selenium import webdriver
url = 'https://item.jd.com/100008348542.html'
# 设置浏览器选项
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# 打开浏览器并访问页面
browser = webdriver.Chrome(options=options)
browser.get(url)
# 定位价格标签并获取价格
price_element = browser.find_element_by_css_selector('#page_origin > div:nth-child(2) > div > div > div.price.J-p-100008348542')
price = price_element.text
print(price)
# 关闭浏览器
browser.quit()
```
代码中的 `url` 变量是要爬取的商品页面地址。通过设置浏览器选项,我们可以使用无头模式来运行浏览器,这样就不会出现浏览器窗口了。接着,我们通过 `webdriver.Chrome()` 创建一个浏览器实例,使用 `browser.get(url)` 访问该页面,然后通过 `browser.find_element_by_css_selector()` 定位页面上的价格标签,最后通过 `price_element.text` 获取价格文本。最后别忘了关闭浏览器实例。
需要注意的是,Selenium 可能会被网站识别为机器人,因此需要适当设置请求头、使用代理 IP 等方式来降低被封 IP 的风险。
阅读全文