python 实现爬网页图片
时间: 2023-08-15 14:34:27 浏览: 80
通过python爬取网页图片
5星 · 资源好评率100%
可以使用Python中的requests和BeautifulSoup库来实现爬取网页图片。
以下是一个示例代码,可以爬取百度图片搜索结果的图片:
```python
import requests
from bs4 import BeautifulSoup
import os
# 搜索关键词
keyword = '猫'
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 创建文件夹
if not os.path.exists(keyword):
os.mkdir(keyword)
# 爬取图片
url = 'https://image.baidu.com/search/index?tn=baiduimage&word=' + keyword
response = requests.get(url=url, headers=headers)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
img_list = soup.find_all('img', class_='main_img')
for index, img in enumerate(img_list):
img_url = img['src']
img_data = requests.get(img_url, headers=headers).content
with open('./{}/{}_{}.jpg'.format(keyword, keyword, index+1), 'wb') as f:
f.write(img_data)
print('正在下载第{}张图片...'.format(index+1))
print('下载完成!')
```
这个代码会在当前目录下创建一个以搜索关键词命名的文件夹,并将下载到的图片保存在这个文件夹中。请注意,爬取网页图片可能会侵犯他人的版权,建议在合法合规的情况下使用此类代码。
阅读全文