python编写爬虫爬取图片
时间: 2023-11-13 17:05:34 浏览: 113
Python编写爬虫来爬取图片可以使用requests和BeautifulSoup库。以下是一个范例代码来实现这个过程:
```python
import requests
from bs4 import BeautifulSoup
import time
def down4(shuchu):
fileName = "./image/" + str(int(time.time() * 1000)) + ".jpg"
r = requests.get(shuchu, headers=header)
f = open(fileName, "wb")
f.write(r.content)
f.close()
def down3(biaoqian):
soup = BeautifulSoup(biaoqian, "html.parser")
tags = soup.find_all("img", class_="lazy")
for tag in tags:
image = "https:" + tag["data-original"]
down4(image)
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75"
}
# 下面是主要的程序逻辑
url = "https://example.com" # 替换成你要爬取图片的网址
response = requests.get(url, headers=header)
down3(response.text)
```
这个代码首先定义了两个函数,`down4()`用来下载图片,`down3()`用来解析网页内容并找到图片的标签位置。在主程序中,首先使用`requests.get()`方法获取网页内容,然后将该内容传递给`down3()`函数进行解析。在解析过程中,使用BeautifulSoup库的`find_all()`函数找到所需的图片标签,并通过遍历循环获取每个图片的链接。最后,将每个链接传递给`down4()`函数进行下载。你可以根据需要修改代码中的网址和文件保存路径来适应不同的爬取需求。
阅读全文