用Python写一个爬取pixiv网站图片的爬虫
时间: 2023-12-02 12:02:41 浏览: 197
好的,以下是一个简单的爬取pixiv网站图片的Python爬虫:
```python
import requests
from bs4 import BeautifulSoup
import os
# 图片保存路径
save_path = "./pixiv_images"
# 爬取页面的URL
url = "https://www.pixiv.net/ranking.php"
# 请求头信息
headers = {
"Referer": "https://www.pixiv.net/",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 发送请求,获取页面内容
response = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")
# 获取图片链接
img_tags = soup.select("img[src^='https://i.pximg.net']")
# 创建文件夹
if not os.path.exists(save_path):
os.makedirs(save_path)
# 下载图片
for i, img_tag in enumerate(img_tags):
img_url = img_tag["src"]
response = requests.get(img_url, headers=headers)
with open(os.path.join(save_path, f"pixiv_{i}.jpg"), "wb") as f:
f.write(response.content)
print("图片下载完成!")
```
该爬虫使用requests库发送HTTP请求,使用BeautifulSoup库解析HTML,使用os库创建文件夹,遍历图片链接并下载图片。请注意,该爬虫只是一个简单的示例,并不一定能够爬取所有的pixiv图片。
阅读全文