python批量爬取网页图片并下载到本地
时间: 2023-05-20 14:07:18 浏览: 174
你可以使用 Python 的 requests 库和 Beautiful Soup 库来实现批量爬取网页图片并下载到本地。以下是一个基本的代码示例:
```python
import os
import requests
from bs4 import BeautifulSoup
# 定义要爬取的网页地址和下载图片的本地目录
url = 'https://example.com'
download_dir = './download'
# 创建下载目录
if not os.path.exists(download_dir):
os.makedirs(download_dir)
# 发送请求并解析网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有的图片标签
img_tags = soup.find_all('img')
# 遍历所有的图片标签并下载图片
for img_tag in img_tags:
img_url = img_tag['src']
img_name = img_url.split('/')[-1]
img_path = os.path.join(download_dir, img_name)
img_data = requests.get(img_url).content
with open(img_path, 'wb') as f:
f.write(img_data)
print(f'{img_name} downloaded successfully.')
```
需要注意的是,在实际的爬取过程中,可能会遇到反爬虫机制的限制,需要加入相应的请求头和代理等处理。此外,还需要特别注意网站的版权问题,不要随意下载并公开使用他人的图片。