python爬取京东手机数据
时间: 2023-08-26 19:04:12 浏览: 45
好的,您可以使用 Python 的 requests 和 BeautifulSoup 库来实现爬取京东手机数据的操作。
首先,您需要在京东网站上搜索手机,然后将搜索结果页面的 URL 复制下来。例如,您可以搜索“手机”并选择“手机”类别,然后复制页面 URL。
接下来,在 Python 中引入 requests 和 BeautifulSoup 库,并使用 requests 库的 get() 方法获取搜索结果页面的 HTML 内容。例如:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=c4f3e2a9f4034bdbb3f3d8c6cf7d4c02'
response = requests.get(url)
html = response.text
```
注意,这里的 URL 中包含了搜索关键词“手机”的编码结果“%E6%89%8B%E6%9C%BA”。
然后,您可以使用 BeautifulSoup 库的 find_all() 方法查找 HTML 内容中所有手机信息的标签和属性,并将这些信息存储到一个列表中。例如:
```python
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('li', class_='gl-item')
phones = []
for item in items:
name = item.find('div', class_='p-name').a.em.text.strip()
price = item.find('div', class_='p-price').i.text.strip()
phones.append({'name': name, 'price': price})
```
在这里,我们查找了 HTML 内容中所有 class 属性为“gl-item”的 li 标签,并从中提取了手机的名称和价格信息,并将其存储到字典中,最后将所有手机信息存储到一个列表中。
最后,您可以将手机信息打印出来或将其存储到文件中。例如:
```python
for phone in phones:
print(phone)
# 将手机信息存储到文件中
import json
with open('phones.json', 'w', encoding='utf-8') as f:
json.dump(phones, f, ensure_ascii=False)
```
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)