python 如何使用爬虫爬取网络上的图片
时间: 2024-06-08 13:12:17 浏览: 182
Python可以使用第三方库requests和BeautifulSoup来爬取网络上的图片。具体步骤如下:
1. 使用requests库发送HTTP请求,获取网页的HTML代码。
2. 使用BeautifulSoup库解析HTML代码,获取图片的URL地址。
3. 使用requests库发送HTTP请求,获取图片的二进制数据。
4. 将图片的二进制数据保存到本地。
下面是一个示例代码,可以爬取百度图片搜索结果的图片:
```python
import os
import requests
from bs4 import BeautifulSoup
# 搜索关键字
keyword = '猫咪'
# 创建目录
if not os.path.exists(keyword):
os.mkdir(keyword)
# 发送HTTP请求,获取HTML代码
url = 'https://image.baidu.com/search/index?tn=baiduimage&word=' + keyword
response = requests.get(url)
html = response.text
# 解析HTML代码,获取图片URL地址
soup = BeautifulSoup(html, 'html.parser')
imgs = soup.find_all('img', class_='main_img')
for i, img in enumerate(imgs):
# 下载图片
img_url = img['src']
img_data = requests.get(img_url).content
with open(keyword + '/' + keyword + str(i) + '.jpg', 'wb') as f:
f.write(img_data)
```
在运行代码之前,需要先安装requests和BeautifulSoup库。可以使用以下命令来安装:
```
pip install requests
pip install beautifulsoup4
```
注意:爬取网页上的图片需要遵守相关法律法规,不得侵犯他人的知识产权。
阅读全文