自动爬取网络上的图片保存到指定文件夹中python实现
时间: 2023-08-15 21:05:35 浏览: 178
基于Python的茶叶信息爬虫设计源码
您可以使用Python中的requests和BeautifulSoup库来实现自动爬取网络上的图片并保存到指定文件夹中。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import os
def download_image(url, save_dir):
# 发送请求获取网页内容
response = requests.get(url)
# 解析网页
soup = BeautifulSoup(response.content, 'html.parser')
# 找到所有的图片标签
img_tags = soup.find_all('img')
# 创建保存图片的文件夹
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# 遍历图片标签,下载并保存图片
for img_tag in img_tags:
img_url = img_tag['src']
# 判断图片链接是否为完整链接
if not img_url.startswith('http'):
img_url = url + img_url
try:
# 发送请求下载图片
response = requests.get(img_url)
# 获取图片的文件名
img_name = img_url.split('/')[-1]
# 保存图片到指定文件夹
with open(os.path.join(save_dir, img_name), 'wb') as f:
f.write(response.content)
print(f'Successfully downloaded {img_name}')
except Exception as e:
print(f'Failed to download image: {img_url}')
print(e)
# 调用函数进行图片下载
url = 'https://example.com' # 要爬取的网页链接
save_dir = 'images' # 图片保存的文件夹路径
download_image(url, save_dir)
```
您需要将`url`替换为您要爬取的网页链接,将`save_dir`替换为您想要保存图片的文件夹路径。该代码会遍历网页中的所有图片标签,下载并保存图片到指定文件夹中。请注意,这只是一个简单的示例代码,实际情况可能会更复杂,您可能需要处理一些特殊情况,如处理相对路径的图片链接、处理异常等。
阅读全文