请你用Python编写一个功能强大的爬虫,功能至少要有图片爬取等。爬取
时间: 2024-10-28 07:08:44 浏览: 4
使用python编写·爬虫程序,主要用于爬取图片
在Python中编写一个功能强大的爬虫通常需要使用一些库,如`requests`, `BeautifulSoup`用于HTML解析,以及`PIL`或`io`处理图片。下面是一个简单的例子,展示如何使用这些工具创建一个基本的网站图片爬虫:
```python
import requests
from bs4 import BeautifulSoup
import io
def download_images(url):
# 发送GET请求获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有的img标签,提取src属性
img_tags = soup.find_all('img', src=True)
for img in img_tags:
img_url = img['src']
# 下载图片并保存到本地
try:
response_img = requests.get(img_url, stream=True)
img_extension = img_url.split('.')[-1] # 获取图片格式
with open(f'downloaded_{img_extension}', 'wb') as f:
for chunk in response_img.iter_content(1024):
f.write(chunk)
print(f'Successfully downloaded {img_url} to local.')
except Exception as e:
print(f'Error downloading {img_url}: {e}')
# 使用函数下载指定网页的图片
download_images('https://example.com')
```
这个脚本会爬取给定URL的所有图片,并将它们下载到当前工作目录下。
阅读全文