用python实现网络爬虫代码爬取久久厂房网的所有图片
时间: 2024-05-22 16:15:37 浏览: 16
好的,以下是一个简单的 Python 爬虫代码,可以用来爬取久久厂房网的所有图片:
```python
import requests
from bs4 import BeautifulSoup
import os
# 设置要爬取的网站链接和存储路径
url = 'http://www.jiujuchangfang.com/'
save_path = './images/'
# 如果存储路径不存在,就创建
if not os.path.exists(save_path):
os.makedirs(save_path)
# 发送 GET 请求获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有图片链接,并逐一下载保存
for img in soup.find_all('img'):
try:
img_url = img['src']
if img_url.startswith('http'):
img_response = requests.get(img_url)
else:
img_response = requests.get(url+img_url)
img_name = img_url.split('/')[-1]
with open(save_path+img_name, 'wb') as f:
f.write(img_response.content)
print('Successfully downloaded:', img_name)
except:
print('Failed to download:', img_url)
```
这个爬虫代码使用了 requests 和 BeautifulSoup 库,requests 用来发送 HTTP 请求获取网页内容,BeautifulSoup 用来解析 HTML 标签。代码先发送 GET 请求获取网页内容,然后使用 BeautifulSoup 找到所有图片链接,再逐一下载保存到指定的存储路径下。需要注意的是,有些图片链接可能是相对路径,所以需要加上网站的主域名前缀。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)