用python写一个下载网页图片的网络爬虫
时间: 2024-06-09 13:04:30 浏览: 12
好的,以下是一个下载网页图片的网络爬虫示例:
```python
import requests
from bs4 import BeautifulSoup
import os
url = 'https://www.example.com' # 要爬取的网页
save_folder = 'images' # 图片存储文件夹
# 创建存储文件夹
if not os.path.exists(save_folder):
os.makedirs(save_folder)
response = requests.get(url) # 请求网页
soup = BeautifulSoup(response.text, 'html.parser') # 使用BeautifulSoup解析网页
# 获取所有图片标签
img_tags = soup.find_all('img')
# 遍历图片标签
for img_tag in img_tags:
img_url = img_tag.get('src') # 获取图片链接
if img_url.startswith('http'): # 判断链接是否为完整的http链接
img_response = requests.get(img_url) # 请求图片链接
img_name = img_url.split('/')[-1] # 获取图片名字
img_path = os.path.join(save_folder, img_name) # 组合图片保存路径
with open(img_path, 'wb') as f: # 以二进制写入模式打开文件
f.write(img_response.content) # 将图片内容写入文件
print(f'{img_name} 保存成功')
```
以上代码使用了requests库和BeautifulSoup库来请求和解析网页,通过遍历图片标签来获取图片链接,并使用open函数将图片内容写入文件。请注意,这个示例只能下载网页中的图片,如果要下载其他类型的文件,需要根据实际情况修改代码。