爬取亚马逊产品图片 附python代码
时间: 2023-09-25 11:15:56 浏览: 265
好的,以下是一个简单的 Python 爬取亚马逊产品图片的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import os
# 设置要爬取的产品页 URL 和保存图片的文件夹路径
url = 'https://www.amazon.com/dp/B07Y5VQ8KR'
save_dir = './images'
# 创建保存图片的文件夹
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# 发送请求并解析 HTML
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取产品名称
product_name = soup.find('span', {'id': 'productTitle'}).get_text().strip()
# 获取所有图片节点
img_nodes = soup.find_all('img', {'class': 's-image'})
# 遍历所有图片节点并下载图片
for i, img_node in enumerate(img_nodes):
# 获取图片 URL
img_url = img_node.get('src')
# 发送请求并保存图片
response = requests.get(img_url)
file_name = f'{product_name}_{i}.jpg'
file_path = os.path.join(save_dir, file_name)
with open(file_path, 'wb') as f:
f.write(response.content)
# 输出下载进度
print(f'Downloaded {file_name}')
```
需要注意的是,上述代码中的产品 URL 需要根据实际情况进行修改,同时也需要根据实际情况修改保存图片的文件夹路径。此外,上述代码中只会下载产品页面中显示的图片,如果需要下载更多图片,可以参考浏览器中 Network 面板中的请求,找到对应的请求 URL 进行下载。
阅读全文