用python编程,以京东手机商品为例,爬取商品名称、商家名称、价格和评价数量。
时间: 2024-04-26 10:21:14 浏览: 16
好的,为了实现这个功能,我们需要使用 Python 的 requests 模块和 BeautifulSoup 模块来爬取京东手机商品信息。以下是代码实现:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.jd.com/Search?keyword=手机&enc=utf-8&wq=手机&pvid=6c5f1f2d9c6341c998a7e9f4c1e0b8f9'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.select('.gl-item')
for item in items:
name = item.select('.p-name em')[0].text.strip()
shop = item.select('.p-shop span a')[0].text.strip()
price = item.select('.p-price strong i')[0].text.strip()
commit = item.select('.p-commit strong a')[0].text.strip()
print('商品名称:', name)
print('商家名称:', shop)
print('价格:', price)
print('评价数量:', commit)
print('-'*100)
```
这段代码首先定义了一个 url,然后使用 requests 模块发起请求并获取到 html 页面,接着使用 BeautifulSoup 模块解析页面,获取到每个商品的信息,最后打印出来。在这个例子中,我们以“手机”为关键词进行搜索,你可以根据自己的需求修改 url 中的关键词。