python 爬虫获取图片
时间: 2023-08-05 13:10:18 浏览: 96
你可以使用Python编写爬虫来获取图片。以下是一个简单的示例代码,演示了如何使用Python的requests和BeautifulSoup库来爬取网页中的图片并保存到本地:
```python
import requests
from bs4 import BeautifulSoup
import os
def download_images(url, save_dir):
# 发送HTTP请求
response = requests.get(url)
# 使用BeautifulSoup解析html页面
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有的<img>标签
img_tags = soup.find_all('img')
# 创建保存图片的目录
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# 下载并保存图片
for img_tag in img_tags:
img_url = img_tag['src']
img_name = img_url.split('/')[-1]
save_path = os.path.join(save_dir, img_name)
try:
img_data = requests.get(img_url).content
with open(save_path, 'wb') as f:
f.write(img_data)
print(f"成功下载图片: {save_path}")
except Exception as e:
print(f"下载图片失败: {save_path}")
print(f"错误信息: {e}")
# 示例用法
url = 'https://www.example.com' # 要爬取图片的网页URL
save_dir = 'images' # 图片保存目录
download_images(url, save_dir)
```
请注意,这只是一个简单的示例,实际的爬虫可能需要处理更复杂的情况,例如处理网页中的相对路径、处理动态加载的图片等。
阅读全文