python爬虫怎么保存图片
时间: 2024-09-08 15:04:54 浏览: 129
在Python中,使用爬虫保存图片通常涉及以下步骤:
1. 使用requests模块获取网页内容:首先,你需要使用requests库向目标网页发起HTTP请求,获取网页的数据。
2. 解析网页内容找到图片URL:利用BeautifulSoup、lxml等解析库来分析网页内容,并找出图片的URL链接。
3. 再次使用requests获取图片数据:通过解析得到的图片URL,使用requests模块下载图片数据。
4. 保存图片到本地或指定目录:通过打开一个文件并以二进制写入模式,将下载的图片数据写入文件,完成图片的保存。
下面是一个简单的代码示例:
```python
import requests
from bs4 import BeautifulSoup
import os
# 目标网页URL
url = 'http://example.com'
# 发送请求
response = requests.get(url)
# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有图片标签
images = soup.find_all('img')
# 确保目录存在
os.makedirs('images', exist_ok=True)
# 遍历所有图片标签并下载图片
for img in images:
# 获取图片URL
img_url = img.get('src')
# 获取图片内容
img_data = requests.get(img_url).content
# 图片名称可以是URL的一部分或者自己定义
img_name = img_url.split('/')[-1]
# 保存图片到指定目录
with open(f'images/{img_name}', 'wb') as file:
file.write(img_data)
```
请根据实际情况调整代码,比如处理相对路径、异常处理、多线程下载等。
阅读全文