Jupyter Notebook爬取图片代码
时间: 2024-04-05 19:23:45 浏览: 207
爬去图片的python代码
好的,以下是使用 Jupyter Notebook 爬取图片的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import os
# 创建保存图片的文件夹
if not os.path.exists('./images/'):
os.mkdir('./images/')
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.3'}
# 目标网站
url = 'https://www.example.com/'
# 获取网页内容
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# 获取所有图片标签
img_tags = soup.find_all('img')
# 遍历图片标签并下载图片
for img in img_tags:
# 获取图片链接
img_url = img.get('src')
# 将图片链接转为绝对路径
if not img_url.startswith('http'):
img_url = url + img_url
# 下载图片到指定文件夹
img_name = img_url.split('/')[-1]
with open('./images/' + img_name, 'wb') as f:
f.write(requests.get(img_url).content)
```
这段代码使用了 requests 库和 Beautiful Soup 库来获取网页内容和解析 HTML,同时使用了 os 库来创建保存图片的文件夹。在遍历图片标签时,代码先判断图片链接是否为绝对路径,如果不是则拼接上网站的 URL,最后以图片链接中的最后一个斜杠后面的部分来命名保存的图片。
阅读全文