python京东爬取商品数据

Python京东爬虫主要用于从京东网站上抓取所需的商品信息，通常会利用如requests库发送HTTP请求获取网页内容，然后使用BeautifulSoup、Scrapy等解析库解析HTML结构，提取出商品标题、价格、描述、图片链接等数据。以下是一个简单的步骤：

1. **安装必要的库**：首先需要安装`requests`, `lxml`或`beautifulsoup4`, `re`（正则表达式）等用于网络请求和HTML解析。

pip install requests beautifulsoup4

2. **模拟登录**：由于京东有反爬机制，一般需要通过cookie或者session模拟登录，获取access_token。

3. **编写爬虫脚本**：使用Python编写代码，如下所示：

import requests
from bs4 import BeautifulSoup

def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print(f"获取页面失败，状态码：{response.status_code}")

def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    # 使用CSS选择器或BeautifulSoup查找元素并提取数据
    products = soup.select('.product-item')  # 示例：选择所有商品项
    for product in products:
        title = product.find('div', class_='p-name').text
        price = product.find('span', class_='p-price').text
        img_url = product.find('img')['src']
        # ...其他字段处理
        # 存储数据到文件或数据库

url = "https://search.jd.com/Search?keyword=手机&enc=utf-8"
html = get_html(url)
parse_html(html)

4. **注意事项**：
- 遵守京东的robots.txt协议，尊重网站规则，合理设置爬取频率，避免对服务器造成过大压力。
- 使用代理IP，防止因频繁请求被封IP。
- 如果京东有动态加载内容，可能需要考虑使用Selenium等工具配合。