python爬虫拼多多商品信息

### 使用Python编写爬虫抓取拼多多商品信息

#### API 接口调用方法

拼多多提供官方API接口用于获取商品数据，这比直接通过网页爬虫更加稳定可靠。开发者可以注册成为拼多多开放平台的成员并申请相应的API权限[^1]。

对于API请求而言，通常需要准备如下几个部分：

- **App Key 和 Secret Key**: 这些密钥是在拼多多开放平台上创建应用时获得的凭证。
- **签名(Signature)**: 请求参数按照一定规则加密后的字符串，用来验证身份合法性。
- **时间戳(Timestamp)**: 当前的时间戳，防止重放攻击。
- **其他必要参数**: 如商品ID、页码等具体业务逻辑所需的参数。

下面是一个简单的例子展示如何构建一个基本的商品查询请求:

import requests
from hashlib import md5
import time


def generate_sign(params, secret_key):
    """生成签名"""
    sorted_params = ''.join(f"{k}{v}" for k, v in sorted(params.items()))
    sign_str = f"{sorted_params}{secret_key}"
    m = md5()
    m.update(sign_str.encode('utf8'))
    return m.hexdigest().upper()


app_key = 'your_app_key'
secret_key = 'your_secret_key'

timestamp = str(int(time.time() * 1000))
params = {
    "type": "pdd.goods.search",
    "sort_type": 0,
    "page_size": 10,
    "page": 1,
    "keyword": "手机",  # 查询关键词
}

sign = generate_sign({**params, "client_id": app_key}, secret_key)

url = f"https://gw-api.pinduoduo.com/api/router?{urlencode(params)}&sign={sign}&access_token=YOUR_ACCESS_TOKEN"

response = requests.get(url).json()

if response['error_response'] is None:
    goods_list = response['goods_search_response']['goods_list']
else:
    print(response)

这段代码展示了如何发送HTTP GET请求给拼多多API服务器，并解析返回的结果。需要注意的是，在实际开发过程中还需要考虑错误处理机制、分页加载等功能。

#### 数据提取与保存

一旦成功接收到响应消息体中的JSON对象，则可以根据需求从中抽取所需字段。例如，如果想要获取每件商品的价格和名称，那么可以从`goods_list`列表里遍历每一个字典项，读取出对应的键值对。

最后一步就是决定怎样存储这些收集到的信息了。可以选择将其写入CSV文件以便后续分析；也可以存入数据库中方便长期管理和检索操作。

import csv

with open('pdd_goods.csv', mode='w') as file:
    writer = csv.writer(file)
    writer.writerow(['title', 'price'])
    
    for item in goods_list:
        title = item.get('goods_name')
        price = item.get('min_group_price') or item.get('min_normal_price')
        
        writer.writerow([title, price])

以上即为使用Python编写的简单版本拼多多商品信息采集器[^2]。