用request库简洁实用的写网页图片爬取代码模板,每行代码解释
时间: 2024-10-19 10:06:36 浏览: 30
使用`requests`库进行网页图片爬取的代码通常包括以下几个步骤:
```python
# 引入所需的requests库
import requests
# 设置要抓取的图片链接列表
image_urls = ['http://example.com/image1.jpg', 'http://example.com/image2.png']
# 遍历图片链接,对于每个链接
for url in image_urls:
# 发送GET请求获取网页内容
try:
response = requests.get(url, timeout=5) # timeout参数设置超时时间防止阻塞
# 判断请求状态是否成功 (200表示成功)
if response.status_code == 200:
# 将响应的二进制内容保存为图片文件
with open(f'{url.split("/")[-1]}', 'wb') as img_file: # 获取文件名并写入本地
img_file.write(response.content)
print(f"已下载图片: {url}")
else:
print(f"请求失败,状态码: {response.status_code}")
except requests.exceptions.RequestException as e:
print(f"请求异常: {str(e)}")
```
以上代码解释:
1. 导入`requests`模块,用于发起网络请求。
2. `image_urls`变量存储待抓取的图片链接。
3. 使用`for`循环遍历每一个链接。
4. 使用`requests.get()`发起GET请求,尝试获取图片内容。
5. 检查请求状态码,如果成功(200),则写入图片到本地。
6. 如果发生请求异常或状态码不是200,捕获异常并打印错误信息。
7. 使用`with open`保存图片到本地,文件名与原始链接相对应。
阅读全文