利用模块requests和BeautifulSoup获取彼岸图网站的4K游戏高清图片 要求至少采集5页以上的4k游戏图片
时间: 2024-09-26 15:12:32 浏览: 52
为了利用Python的requests库和BeautifulSoup库从彼岸图网站获取4K游戏高清图片,并采集多于5页的内容,你需要按照以下步骤操作:
1. **安装必要的库**:
首先,确保已安装`requests`和`beautifulsoup4`库。如果没有,可以使用pip进行安装:
```
pip install requests beautifulsoup4
```
2. **分析网页结构**:
访问彼岸图网站,了解图片链接的规律。通常,图片位于HTML元素的src属性中,可能是相对路径,也可能是带有分页参数的URL。
3. **编写抓取脚本**:
使用BeautifulSoup解析HTML文档,找到包含图片链接的部分。这里是一个基本的示例代码片段,它会获取每一页的图片链接并下载它们,假设图片链接在class为"img-thumb"的a标签内:
```python
import os
import requests
from bs4 import BeautifulSoup
# 基础URL和起始页面
base_url = "https://www.bilibili.com/gamers/4k/"
start_page = 1
max_pages = 6 # 采集5页以上,自行调整
for page in range(start_page, max_pages + 1):
url = f"{base_url}?p={page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 查找并保存图片链接
img_links = soup.find_all('a', class_='img-thumb')
for link in img_links:
img_url = base_url + link['href']
filename = os.path.join("images", f"{page}_{link.text.strip()}.jpg") # 图片文件名格式化
if not os.path.exists(os.path.dirname(filename)): # 创建目录如果不存在
os.makedirs(os.path.dirname(filename))
try:
with open(filename, 'wb') as f:
f.write(requests.get(img_url).content) # 下载图片
print(f"Downloaded {filename}")
except Exception as e:
print(f"Failed to download {img_url}: {e}")
#
阅读全文