如何使用python爬取网页图片
时间: 2023-02-13 19:44:58 浏览: 120
通过python爬取网页图片
5星 · 资源好评率100%
可以使用 Python 的第三方库来爬取网页图片。下面是一些可以使用的库:
1. Beautiful Soup
这是一个用于解析 HTML 和 XML 的库,可以用来提取网页中的图片链接。使用方法如下:
```
from bs4 import BeautifulSoup
import requests
# 爬取网页
url = 'http://www.example.com'
response = requests.get(url)
html = response.text
# 解析网页
soup = BeautifulSoup(html, 'html.parser')
# 提取图片链接
img_tags = soup.find_all('img')
for img_tag in img_tags:
img_url = img_tag['src']
# 下载图片
img_data = requests.get(img_url).content
with open('image.jpg', 'wb') as f:
f.write(img_data)
```
2. Selenium
这是一个用于控制浏览器的库,可以用来爬取动态加载的图片。使用方法如下:
```
from selenium import webdriver
# 启动浏览器
driver = webdriver.Chrome()
# 访问网页
url = 'http://www.example.com'
driver.get(url)
# 提取图片链接
img_tags = driver.find_elements_by_tag_name('img')
for img_tag in img_tags:
img_url = img_tag.get_attribute('src')
# 下载图片
img_data = requests.get(img_url).content
with open('image.jpg', 'wb') as f:
f.write(img_data)
# 关闭浏览器
driver.close()
```
当然,还有很多其他的库和方法可以用来爬取网页图片,例如 PyQuery、Scrapy 等。
阅读全文