用python爬取京东手机商品
时间: 2023-07-01 15:19:23 浏览: 161
好的,您可以按照以下步骤使用Python爬取京东手机商品:
1. 安装必要的库:需要安装 requests 和 BeautifulSoup 库来爬取京东网站上的商品信息。您可以使用以下命令来安装这两个库:
```
pip install requests
pip install beautifulsoup4
```
2. 打开京东网站上的手机商品页面,并查看其网址。例如,您可以打开 https://search.jd.com/search?keyword=手机,即可进入京东手机商品页面。
3. 使用 requests 库发送GET请求,获取网页源码。您可以使用以下代码发送请求并获取网页源码:
```python
import requests
url = 'https://search.jd.com/search?keyword=手机'
response = requests.get(url)
html = response.text
```
4. 使用 BeautifulSoup 库解析网页源码,提取商品信息。您可以使用以下代码解析源码并提取商品信息:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
items = soup.select('.gl-item')
for item in items:
name = item.select('.p-name em')[0].text.strip()
price = item.select('.p-price i')[0].text.strip()
print(name, price)
```
以上代码将提取京东手机页面上所有商品的名称和价格,并输出到控制台。
希望这可以帮助您开始爬取京东手机商品。
阅读全文