怎么使用bs4和requests爬取其中搜索为极光的图片以及下载链接
时间: 2024-05-03 21:22:55 浏览: 131
以下是使用bs4和requests爬取其中搜索为极光的图片以及下载链接的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import urllib.request
# 搜索关键词
keyword = '极光'
# 搜索页码
page = 1
# 构造请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 构造请求url
url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + keyword + '&pn=' + str(
(page - 1) * 20) + '&gsm=1e'
# 发送请求并获取响应
response = requests.get(url, headers=headers)
# 使用BeautifulSoup解析响应内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取所有图片的标签
img_tags = soup.find_all('img', class_='main_img')
# 遍历所有图片标签
for img_tag in img_tags:
# 获取图片链接
img_url = img_tag['src']
# 获取图片名称
img_name = img_url.split('/')[-1]
# 获取下载链接
download_url = 'https://timgsa.baidu.com' + img_tag['data-imgurl']
# 下载图片
urllib.request.urlretrieve(download_url, img_name)
print('已下载图片:', img_name)
```
注意,此代码仅供学习参考,请勿用于商业用途或其他违法行为。
阅读全文