用python写一段代码,爬取京东某类商品的名称和价格
时间: 2024-06-09 17:05:10 浏览: 94
好的,以下是爬取京东某类商品名称和价格的Python代码:
```python
import requests
from bs4 import BeautifulSoup
# 要爬取的商品类别
keyword = '手机'
# 构造请求URL
url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8'
# 发送请求并获取响应
response = requests.get(url)
# 解析HTML页面
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有商品信息
items = soup.select('div#J_goodsList > ul > li.gl-item')
# 遍历商品信息列表并提取商品名称和价格
for item in items:
# 商品名称
name = item.select_one('div.p-name').text.strip()
# 商品价格
price = item.select_one('div.p-price > strong > i').text.strip()
print(f'商品名称:{name},价格:{price}')
```
代码解释:
1. 导入 `requests` 模块和 `BeautifulSoup` 模块,用于发送HTTP请求和解析HTML页面。
2. 指定要爬取的商品类别。
3. 构造请求URL,将商品类别作为参数传递。
4. 发送HTTP请求并获取响应。
5. 使用 `BeautifulSoup` 解析HTML页面。
6. 使用CSS选择器获取所有商品信息。
7. 遍历商品信息列表并使用CSS选择器提取商品名称和价格。
8. 打印商品名称和价格。
阅读全文