用python写一个爬虫用来爬取网页图片,能直接使用的那种
时间: 2024-02-09 08:07:21 浏览: 109
好的,以下是一个简单的Python爬虫代码,可以用来爬取网页上的图片并下载到本地。你只需要修改代码中的网址和保存路径即可。
```python
import requests
from bs4 import BeautifulSoup
import os
# 将图片保存到本地的文件夹路径
save_folder = './images'
# 如果文件夹不存在,则创建文件夹
if not os.path.exists(save_folder):
os.mkdir(save_folder)
# 要爬取图片的网址
url = 'https://www.example.com'
# 发送请求,并获取响应内容
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析HTML页面
soup = BeautifulSoup(html, 'html.parser')
# 获取页面中的所有图片标签
img_tags = soup.find_all('img')
# 循环遍历每个图片标签,并下载图片到本地
for img_tag in img_tags:
# 获取图片的网址
img_url = img_tag.get('src')
# 如果图片网址不是完整的url,则拼接完整的url
if not img_url.startswith('http'):
img_url = url + img_url
# 发送请求并获取图片内容
img_response = requests.get(img_url)
# 获取图片的文件名
img_name = img_url.split('/')[-1]
# 拼接图片保存路径
save_path = os.path.join(save_folder, img_name)
# 将图片保存到本地
with open(save_path, 'wb') as f:
f.write(img_response.content)
print('所有图片下载完成!')
```
注意:在爬取图片时,需要确保你有合法的授权,否则可能会触犯法律。另外,爬取图片也需要遵守网站的robots协议,不要过度频繁地访问网站,以免被封禁IP。
阅读全文