用requests库写简洁的网页图片爬取代码,每行代码解释
时间: 2024-10-19 19:06:06 浏览: 20
当然可以。在Python中,`requests`库常用于发送HTTP请求,而`BeautifulSoup`则用于解析HTML文档,我们可以结合这两个库来简洁地抓取网页图片。以下是一个简单的例子:
```python
# 导入所需库
import requests
from bs4 import BeautifulSoup
# 定义要爬取的网址
url = 'http://example.com' # 替换成你要爬取的具体网站
# 使用requests库获取网页内容
response = requests.get(url)
# 检查请求是否成功 (状态码200表示成功)
if response.status_code == 200:
# 解析网页内容为BeautifulSoup对象
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的img标签 (包含src属性的图片链接)
img_tags = soup.find_all('img', src=True) # 使用True作为源URL存在的判断条件
# 遍历并保存图片链接
for img_tag in img_tags:
img_url = img_tag['src'] # 获取图片的实际URL
save_path = 'images/' + img_url.split('/')[-1] # 构建本地保存路径
# 下载图片 (这里只是打印URL,实际操作需要额外安装如wget或open-uri等库)
print(f"正在下载图片: {img_url}")
# download_image(img_url, save_path)
else:
print("请求失败:", response.status_code)
阅读全文