用python写一个爬取京东商品的程序
时间: 2023-10-10 19:11:06 浏览: 99
python京东商品爬取
好的,下面是一个使用 Python 爬取京东商品的示例程序,使用 `selenium` 和 `beautifulsoup4` 库:
```python
from selenium import webdriver
from bs4 import BeautifulSoup
# 创建浏览器对象
browser = webdriver.Chrome()
# 打开京东网站
browser.get('https://www.jd.com/')
# 查找搜索框并输入关键字
search_box = browser.find_element_by_id('key')
search_box.send_keys('手机')
search_box.submit()
# 获取搜索结果页面的源代码
html = browser.page_source
# 解析页面源代码
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', {'class': 'gl-item'})
# 遍历每个商品并输出
for item in items:
# 获取商品名称和价格
name = item.find('div', {'class': 'p-name'}).find('a').text.strip()
price = item.find('div', {'class': 'p-price'}).find('i').text
# 输出商品信息
print('商品名称:', name)
print('商品价格:', price)
print('------------------')
# 关闭浏览器
browser.quit()
```
这个程序会在京东网站上搜索手机关键字,并输出搜索结果中每个商品的名称和价格。你可以根据自己的需求修改关键字和解析商品信息的代码。
需要注意的是,为了防止京东网站反爬机制的限制,我们在程序中使用了 Selenium 模拟浏览器行为,并等待页面加载完成后再获取源代码。这个过程可能需要一些时间,你可以使用 `time` 模块来设置等待时间。
阅读全文