在京东商城,爬虫获取某个品牌的手机型号、店铺名称、价格和评论条数,存储的CSV文件中。
时间: 2024-03-30 07:37:18 浏览: 69
好的,以下是获取某个品牌手机信息并存储为CSV文件的代码示例,以Python为例:
```python
import requests
import pandas as pd
from bs4 import BeautifulSoup
# 设置请求头部信息,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 品牌名称
brand = '荣耀'
# 手机信息列表
mobile_list = []
# 获取前10页的手机信息
for page in range(1, 11):
url = 'https://search.jd.com/search?keyword={}&enc=utf-8&page={}'.format(brand, page)
# 发送请求,获取HTML页面
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析HTML页面
soup = BeautifulSoup(html, 'html.parser')
# 获取手机信息列表
items = soup.select('.gl-item')
# 遍历手机信息列表,获取每款手机的信息
for item in items:
try:
# 获取手机型号、店铺名称、价格和评论数量
name = item.select('.p-name em')[0].text.strip()
shop = item.select('.p-shop span a')[0].text.strip()
price = item.select('.p-price i')[0].text.strip()
comment = item.select('.p-commit strong a')[0].text.strip()
# 将手机信息添加到列表中
mobile_list.append([name, shop, price, comment])
except:
pass
# 将手机信息列表转换为DataFrame
df = pd.DataFrame(mobile_list, columns=['型号', '店铺名称', '价格', '评论'])
# 将DataFrame保存为CSV文件
df.to_csv('mobiles.csv', index=False)
```
请注意,该代码仅供参考,实际使用时需要根据网站的具体情况进行修改。另外,爬虫行为可能违反网站的相关规定,请使用者谨慎使用,并承担相应的法律责任。
阅读全文