python爬虫爬取京东商品信息

### 使用Python爬虫获取京东商品详情

为了合法合规地从京东平台抓取商品信息，需遵循一定的方法和技术路径。这不仅涉及编程技能的应用，还涉及到对目标网站结构的理解以及法律法规的尊重。

#### 环境准备

在开始编写爬虫前，确保安装了必要的软件包和工具。主要依赖项包括但不限于：

- **Python**: 编程语言本身。
- **Requests**: 发起HTTP/HTTPS请求的基础库。
- **BeautifulSoup** 或者 **lxml**: 解析HTML文档并从中抽取特定的信息片段[^1]。

pip install requests beautifulsoup4 lxml

#### 获取商品列表页链接

通常情况下，会先访问分类下的商品列表页面，通过解析这些页面可以得到各个单品的具体URL地址。由于京东采用了动态加载技术，在某些场景下可能需要借助Selenium或其他自动化测试工具来模拟真实用户的浏览动作，从而触发更多内容显示出来[^5]。

#### 抓取单个商品详情

一旦获得了具体产品的URL之后，就可以向该网址发起GET请求，并处理响应体内的JSON对象或是HTML源码。下面给出了一段简单的示范代码，展示了如何利用`requests`模块读取指定ID的产品描述部分：

import json
import requests
from bs4 import BeautifulSoup


def get_product_info(product_id):
    url = f"https://item.jd.com/{product_id}.html"
    
    headers = {
        'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
                       'AppleWebKit/537.36 (KHTML, like Gecko)'
                       'Chrome/98.0.4758.102 Safari/537.36')
    }
    
    response = requests.get(url=url, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")

    title_tag = soup.find('div', attrs={'class': 'sku-name'})
    price_json_str = re.findall(r'window\.priceColor=(.*?);', str(soup))[0]

    product_title = title_tag.string.strip() if title_tag else None
    try:
        product_price = float(json.loads(price_json_str)['p'])
    except Exception as e:
        print(f"Parsing error {e}")
        product_price = None
        
    return {"title": product_title,
            "price": product_price}

这段脚本实现了基本的功能——给定一个有效的商品编号，则能返回对应的名称与售价；然而实际应用中还需要考虑更多的因素，例如异常情况处理、反爬机制规避等[^4]。