python爬取京东数据存储到csv文件
时间: 2023-12-04 22:03:01 浏览: 325
好的,以下是一个简单的示例代码,可以爬取京东商品信息并将数据存储到CSV文件中:
```python
import requests
import csv
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求
response = requests.get('https://list.jd.com/list.html?cat=9987,653,655', headers=headers)
# 提取商品信息
products = []
for item in response.json()['wareList']:
product = {
'name': item['wname'],
'price': item['jdPrice']['price'],
'comments': item['comments']
}
products.append(product)
# 存储到CSV文件
with open('jd_products.csv', 'w', newline='', encoding='utf-8-sig') as csvfile:
fieldnames = ['name', 'price', 'comments']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()
for product in products:
writer.writerow(product)
```
上面的代码中,我们使用requests库发送HTTP请求,然后解析响应中的JSON数据提取商品信息,最后将数据存储到CSV文件中。在存储CSV文件时,使用了csv模块的DictWriter类,可以方便地将字典数据写入到CSV文件中。
阅读全文