python爬取京东手机商品信息

可以使用 Python 中的 requests 库和 BeautifulSoup 库来爬取京东手机商品信息。以下是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://search.jd.com/Search?keyword=手机&enc=utf-8'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

items = soup.select('ul.gl-warp li.gl-item')
for item in items:
    name = item.select('div.p-name a em')[0].text.strip()
    price = item.select('div.p-price i')[0].text.strip()
    print(name, price)

这个代码会爬取京东搜索结果页面上的所有手机商品的名称和价格，并打印到控制台上。你可以根据实际需要对代码进行修改。

相关问题

python爬取京东手机参数_python爬虫——分页爬取京东商城商品信息（手机为例）

Python爬取京东手机参数通常涉及到网络爬虫技术，其中Pandas库常用于数据处理，BeautifulSoup或Scrapy框架则用于解析HTML网页。以下是一个简单的示例，说明如何分页爬取京东商城的手机商品信息：

首先，安装必要的库：

pip install requests beautifulsoup4 pandas

然后，编写一个基本的爬虫脚本，这里以requests和BeautifulSoup为基础：

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_page_content(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print(f"请求失败，状态码：{response.status_code}")
        return None

def parse_page(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 提取商品信息，假设手机参数在`div`标签内，如品牌、型号、价格等
    phones_info = soup.find_all('div', class_='product-info')

    data = []
    for info in phones_info:
        brand = info.find('span', class_='p-name').text.strip()
        model = info.find('span', class_='p-name-detail').text.strip()
        price = info.find('em', class_='p-price').text.strip()

        # 添加其他参数，例如内存、分辨率等
        # memory = info.find('span', class_='some-class-for-memory').text.strip() if exists else ''
        # resolution = info.find('span', class_='some-class-for-resolution').text.strip() if exists else ''

        data.append({
            'Brand': brand,
            'Model': model,
            'Price': price,
            # ...其他参数
        })
    
    return data

def fetch_jd_phone_params(start_url, num_pages=1):
    phone_data = []

    for i in range(num_pages):
        url = f"{start_url}?page={i + 1}"
        html = get_page_content(url)

        if html is not None:
            parsed_data = parse_page(html)
            phone_data.extend(parsed_data)

    df = pd.DataFrame(phone_data)
    return df

# 示例开始URL
start_url = "https://search.jd.com/Search?keyword=%E7%A7%BB%E5%8A%A8&enc=utf-8&wq=%E7%A7%BB%E5%8A%A8"

# 爬取并保存结果
df = fetch_jd_phone_params(start_url)
df.to_csv('jd_phones.csv', index=False)
print("爬取完成，数据已保存到jd_phones.csv")

用python爬取京东手机商品

好的，您可以按照以下步骤使用Python爬取京东手机商品：

1. 安装必要的库：需要安装 requests 和 BeautifulSoup 库来爬取京东网站上的商品信息。您可以使用以下命令来安装这两个库：

    pip install requests
    pip install beautifulsoup4

2. 打开京东网站上的手机商品页面，并查看其网址。例如，您可以打开 https://search.jd.com/search?keyword=手机，即可进入京东手机商品页面。

3. 使用 requests 库发送GET请求，获取网页源码。您可以使用以下代码发送请求并获取网页源码：

    import requests

    url = 'https://search.jd.com/search?keyword=手机'
    response = requests.get(url)
    html = response.text

4. 使用 BeautifulSoup 库解析网页源码，提取商品信息。您可以使用以下代码解析源码并提取商品信息：

    from bs4 import BeautifulSoup

    soup = BeautifulSoup(html, 'html.parser')
    items = soup.select('.gl-item')
    for item in items:
        name = item.select('.p-name em')[0].text.strip()
        price = item.select('.p-price i')[0].text.strip()
        print(name, price)

以上代码将提取京东手机页面上所有商品的名称和价格，并输出到控制台。

希望这可以帮助您开始爬取京东手机商品。