爬虫爬取京东手机数据,内容包括店铺名,价格,评论数,手机颜色,品牌。要求可以i自己输入爬取几页
时间: 2024-01-18 09:22:45 浏览: 107
好的,这是一个爬取京东手机数据的比较典型的爬虫案例。需要用到 Python 的 requests 和 BeautifulSoup 模块。以下是一个简单的实现方案:
```
import requests
from bs4 import BeautifulSoup
# 输入要爬取的页数
pages = int(input("请输入要爬取的页数:"))
# 循环爬取每一页的数据
for page in range(1, pages+1):
url = f"https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&page={page}"
# 发送请求
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, "html.parser")
# 获取所有商品列表
items = soup.find_all("div", class_="gl-i-wrap")
# 遍历商品列表,提取需要的数据
for item in items:
# 店铺名
shop = item.find("div", class_="p-shop").a.string.strip()
# 价格
price = item.find("div", class_="p-price").i.string.strip()
# 评论数
comment = item.find("div", class_="p-commit").a.string.strip()
# 手机颜色
color = item.find("div", class_="p-name").em.string.strip()
# 品牌
brand = item.find("div", class_="p-name").a.string.strip()
# 输出结果
print(f"店铺名:{shop}\n价格:{price}\n评论数:{comment}\n手机颜色:{color}\n品牌:{brand}\n\n")
```
在这个示例中,我们首先输入要爬取的页数,然后循环爬取每一页的数据。对于每一个商品,我们使用 BeautifulSoup 找到相应的 HTML 元素,提取需要的数据,最后输出结果。
需要注意的是,这个爬虫只是一个简单的示例,如果要在实际项目中使用,还需要考虑一些其他的问题,比如反爬虫机制、数据存储等。
阅读全文