请你用Python编写一个功能强大的爬虫,功能至少要有图片爬取等。y
时间: 2024-09-15 12:12:46 浏览: 50
在Python中,编写一个功能强大的爬虫通常会使用一些流行的库,如BeautifulSoup用于HTML解析,requests用于发送HTTP请求,以及PIL或OpenCV处理图片。下面是一个简单的示例,展示如何创建一个基本的图片爬虫,它从指定网站抓取并保存图片:
```python
import requests
from bs4 import BeautifulSoup
import os
def download_images(url):
# 发送GET请求获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的img标签
img_tags = soup.find_all('img')
# 爬取图片的src属性并下载
for img_tag in img_tags:
img_url = img_tag['src']
if 'http' not in img_url: # 如果相对路径,结合基础url获取完整URL
base_url = url.split('/')[:-1] # 获取base_url
img_url = '/'.join(base_url + [img_url])
save_path = os.path.join('images', img_url.split('/')[-1]) # 图片保存路径
try:
with open(save_path, 'wb') as f:
img_data = requests.get(img_url).content
f.write(img_data)
print(f"Downloaded {img_url} to {save_path}")
except Exception as e:
print(f"Error downloading {img_url}: {e}")
# 使用你的目标网址替换下面的url
target_url = "https://example.com"
download_images(target_url)
阅读全文