爬取并分析苹果商店的内容: https://www.apple.com.cn/retail/storelist/获取国内所有苹果商店的名称、链接、地址和电话,并把爬取的结果保存到json文件中
时间: 2024-09-24 14:10:36 浏览: 78
https://apps.apple.com/app/id6450697464
首先,我们需要了解这个任务涉及两个部分:网络爬虫(Web Scraping)用于从指定网页抓取数据,然后是对抓取的数据进行处理并将其转换为JSON格式。以下是一个简单的Python脚本示例,使用了`requests`库进行HTTP请求,`BeautifulSoup`库解析HTML内容,以及`json`库来保存结果:
```python
import requests
from bs4 import BeautifulSoup
import json
# 定义目标URL
url = "https://www.apple.com.cn/retail/storelist/"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所需信息的位置,这里假设商店名称、链接、地址和电话分别包含在特定的标签内
stores_data = []
store_list = soup.find_all('div', class_='store-list__item') # 请根据实际页面结构替换class名
for store in store_list:
name = store.find('h3', class_='store-name').text.strip() # 请根据实际结构查找标题
link = 'https://www.apple.com.cn' + store.find('a')['href'] # 提取链接,假设链接在<a>标签内
address = store.find('p', class_='store-address').text.strip() # 找地址
phone = store.find('span', class_='store-info__phone').text.strip() # 找电话
stores_data.append({
'name': name,
'link': link,
'address': address,
'phone': phone
})
# 将数据保存到json文件
with open('apple_stores.json', 'w', encoding='utf-8') as f:
json.dump(stores_data, f, ensure_ascii=False, indent=2)
else:
print(f"无法访问该URL,状态码:{response.status_code}")
阅读全文