python爬取pdd商品信息
时间: 2023-11-17 16:05:26 浏览: 145
使用python爬取淘宝商品信息
5星 · 资源好评率100%
以下是使用Python爬取拼多多商品信息的示例代码:
```python
import requests
import csv
def get_goods(url, headers, params):
# 发送请求
response = requests.get(url, headers=headers, params=params)
# 解析响应
goods_list = response.json()['goods_list']
# 保存到CSV文件
with open('goods.csv', 'w', newline='', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow(['商品名称', '商品价格'])
for goods in goods_list:
writer.writerow([goods['goods_name'], goods['min_on_sale_group_price']])
if __name__ == '__main__':
url = 'https://mobile.yangkeduo.com/proxy/api/api/goods/search'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
params = {
'sort_type': 'default',
'page': '1',
'size': '20',
'list_id': 'search_7f6f7e7d7d7d7d7d7d7d7d7d7d7d7d7d',
'q': '手机'
}
get_goods(url, headers, params)
```
以上代码使用requests库发送HTTP请求,获取拼多多商品信息,并使用csv库将商品名称和价格保存到CSV文件中。
阅读全文