python爬虫图片下载
时间: 2024-08-12 15:01:31 浏览: 61
Python爬虫图片下载.md
在Python中,使用爬虫下载网页上的图片通常会涉及到`requests`库获取HTML源码,然后使用`BeautifulSoup`解析HTML提取图片链接,最后利用`urllib`或`os`库下载图片。以下是基本步骤:
1. 首先,安装必要的库:
```bash
pip install requests beautifulsoup4
```
2. 使用`requests.get`获取网页内容:
```python
import requests
response = requests.get('http://目标网站')
page_content = response.text
```
3. 解析HTML内容找到图片URL:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(page_content, 'html.parser')
img_tags = soup.find_all('img') # 假设图片在<img>标签内
img_urls = [img['src'] for img in img_tags]
```
4. 下载图片到本地:
```python
import os
for url in img_urls:
if not url.startswith('http'):
continue # 如果不是完整的URL,可能需要补全
image_name = os.path.basename(url)
with open(image_name, 'wb') as f:
img_data = requests.get(url).content
f.write(img_data)
```
5. (可选)考虑错误处理、代理设置以及进度显示等。
阅读全文