写一个简单的爬虫爬取图片
时间: 2023-09-10 16:10:02 浏览: 81
爬虫开发-基于Python实现爬取百度高清摄影图片.zip
好的,以下是一个简单的Python爬虫示例,用于爬取某个网站上的图片:
```python
import requests
from bs4 import BeautifulSoup
import os
url = "https://www.example.com" # 要爬取的网站地址
save_folder = "images" # 图片保存的文件夹名称
# 创建保存图片的文件夹
if not os.path.exists(save_folder):
os.makedirs(save_folder)
# 发送请求获取网页内容
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 查找所有的图片标签
img_tags = soup.find_all('img')
# 遍历所有的图片标签,依次下载图片
for img in img_tags:
img_url = img.get('src') # 获取图片的URL
if img_url.startswith('http'): # 如果图片URL以http开头,则可以直接下载
img_data = requests.get(img_url).content
else: # 如果图片URL不以http开头,则需要加上网站的域名
img_data = requests.get(url + img_url).content
img_name = img_url.split('/')[-1] # 获取图片的名称
img_path = os.path.join(save_folder, img_name) # 拼接图片的保存路径
with open(img_path, 'wb') as f:
f.write(img_data)
print('已保存图片:', img_name)
```
这个爬虫会在执行时,从指定的网站上爬取所有的图片,并保存到指定的文件夹中。需要注意的是,这个爬虫仅作为示例,实际使用时需要遵循网站的规则,并且注意不要过度爬取,以免给网站带来不必要的负担。
阅读全文