python爬虫爬取网页图片并保存
时间: 2023-07-02 12:20:27 浏览: 209
爬虫_python_一款抓取整个网站的图片程序
好的,下面是一个简单的 Python 爬虫程序,用于爬取指定网页中的图片并保存到本地文件夹中:
```python
import requests
from bs4 import BeautifulSoup
import os
# 目标网页URL
url = 'https://www.example.com/'
# 创建目标文件夹
if not os.path.exists('images'):
os.mkdir('images')
# 发送请求并获取HTML文档
response = requests.get(url)
html_doc = response.content
# 解析HTML文档
soup = BeautifulSoup(html_doc, 'html.parser')
# 获取所有图片标签
img_tags = soup.find_all('img')
# 遍历所有图片标签,下载并保存图片
for img_tag in img_tags:
img_url = img_tag.get('src')
img_name = img_url.split('/')[-1]
img_path = os.path.join('images', img_name)
img_data = requests.get(img_url).content
with open(img_path, 'wb') as f:
f.write(img_data)
print(f'Saved {img_path}')
```
这个程序首先创建一个名为 `images` 的文件夹,然后发送请求获取目标网页的 HTML 文档,再使用 `BeautifulSoup` 解析 HTML 文档,并通过 `find_all` 方法获取所有图片标签。接下来,程序遍历所有图片标签,获取图片的 URL 和名称,然后使用 `requests` 库下载图片并保存到本地文件夹中。最后,程序输出保存成功的消息并结束。
阅读全文