python爬虫爬取京东商品价格
时间: 2024-06-06 08:04:51 浏览: 382
Python爬虫是一种可以自动化地从网页中获取信息的程序。要爬取京东商品价格,可以通过以下步骤实现:
1. 导入相关的库,例如requests、beautifulsoup4、re等。
2. 使用requests库发送网络请求,获取京东商品页面的HTML源码。
3. 使用beautifulsoup4库解析HTML源码,提取需要的商品信息。
4. 使用re库对提取的信息进行匹配和处理,提取商品价格。
5. 将价格输出或者存储到本地文件中。
以下是一个简单的示例代码,供参考:
```python
import requests
from bs4 import BeautifulSoup
import re
url = 'https://item.jd.com/100011843784.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送网络请求,获取HTML源码
html = requests.get(url, headers=headers).text
# 解析HTML源码
soup = BeautifulSoup(html, 'html.parser')
# 提取商品价格
price = soup.find('span', {'class': 'price J-p-100011843784'}).text.strip()
price = re.sub(r'[^\d\.]', '', price) # 去除非数字和小数点的字符
print(price)
```
阅读全文