用python 写一个爬虫程序,爬取目标网站的图片
时间: 2023-11-27 14:04:33 浏览: 45
好的,下面是一个使用Python的爬虫程序,可以爬取指定网站的图片:
```python
import requests
from bs4 import BeautifulSoup
import os
# 定义要爬取的网站和目标目录
url = 'https://example.com/'
output_dir = 'images/'
# 发送请求并解析HTML
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 遍历HTML中所有的图片标签,并下载图片
for img in soup.find_all('img'):
img_url = img['src']
if not img_url.startswith('http'):
img_url = url + img_url
try:
response = requests.get(img_url)
# 保存图片到目标目录
img_name = os.path.basename(img_url)
with open(os.path.join(output_dir, img_name), 'wb') as f:
f.write(response.content)
except:
print('Failed to download image:', img_url)
```
这个程序的思路如下:
1. 定义要爬取的网站和目标目录。
2. 发送请求并解析HTML。
3. 遍历HTML中所有的图片标签,并下载图片。
4. 保存图片到目标目录。
需要注意的是,在实际的应用中,可能需要考虑更多的因素,例如图片的大小、格式等等。此外,为了避免频繁向目标网站发送请求,可以使用缓存机制或者限制请求频率等方式来进行优化。