网络爬虫爬取京客隆图片代码
时间: 2024-09-17 21:00:51 浏览: 30
网络爬虫抓取网页上的图片通常需要使用Python的一些库,如requests和BeautifulSoup或者Scrapy框架。这里是一个简化的例子,展示如何使用`requests`和`BeautifulSoup`来抓取京东(京客隆)的商品图片:
```python
import requests
from bs4 import BeautifulSoup
import os
# 目标URL
url = "https://www.jingkegong.com/" # 替换成实际的京客隆商品页面链接
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'lxml')
# 找到图片标签,例如<img>,并提取src属性(图片链接)
img_tags = soup.find_all('img', src=True)
# 创建保存图片的目录,如果不存在的话
if not os.path.exists("jd_images"):
os.makedirs("jd_images")
# 逐个下载图片
for img in img_tags:
img_url = img['src']
image_response = requests.get(img_url, stream=True)
# 检查图片请求是否成功
if image_response.status_code == 200:
with open(os.path.join("jd_images", img_url.split("/")[-1]), 'wb') as f:
for chunk in image_response.iter_content(1024):
f.write(chunk)
else:
print(f"请求失败,状态码: {response.status_code}")
阅读全文