python爬取价格
时间: 2023-11-14 16:12:35 浏览: 141
Python可以通过爬虫技术来抓取商品价格,并将其存入SQLite数据库中。具体步骤如下:
1. 使用requests库获取商品页面的HTML代码。
2. 使用BeautifulSoup库解析HTML代码,获取商品名称和价格。
3. 将商品名称和价格存入SQLite数据库中。
4. 使用pyecharts库绘制价格折线图,方便用户查看价格变化。
下面是一个获取京东商品价格的示例代码:
```
import requests
from bs4 import BeautifulSoup
import json
def get_jd_price(skuId):
sku_detail_url = 'http://item.jd.com/{}.html'
sku_price_url = 'https://p.3.cn/prices/get?type=1&skuid=J_{}'
r = requests.get(sku_detail_url.format(skuId)).content
soup = BeautifulSoup(r, 'html.parser', from_encoding='utf-8')
sku_name_div = soup.find('div', class_="sku-name")
if not sku_name_div:
print('您输入的商品ID有误!')
return
else:
sku_name = sku_name_div.text.strip()
r = requests.get(sku_price_url.format(skuId))
price = json.loads(r.text)[0]['p']
data = {
'sku_id': skuId,
'sku_name': sku_name,
'price': price
}
return data
```
阅读全文