python lxml爬虫爬取图片
时间: 2023-07-31 10:06:50 浏览: 153
你可以使用 Python 的 `lxml` 库和 `requests` 库来爬取网页中的图片。以下是一些基本步骤:
1. 首先,你需要安装 `lxml` 和 `requests` 库。你可以使用以下命令来安装它们:
```
pip install lxml
pip install requests
```
2. 接下来,你需要使用 `requests` 库发送 HTTP 请求,获取网页的 HTML 内容。例如:
```
import requests
url = 'https://www.example.com'
response = requests.get(url)
html_content = response.content
```
3. 然后,你需要使用 `lxml` 库解析 HTML 内容,并找到其中的图片。例如:
```
from lxml import html
# 将 HTML 内容转换为 Element 对象
doc = html.fromstring(html_content)
# 找到所有 img 标签
img_tags = doc.xpath('//img')
# 遍历所有 img 标签,获取图片链接
img_urls = []
for img in img_tags:
img_url = img.get('src')
img_urls.append(img_url)
```
4. 最后,你可以使用 `requests` 库下载图片。例如:
```
for img_url in img_urls:
response = requests.get(img_url)
with open('image.jpg', 'wb') as f:
f.write(response.content)
```
这样,你就可以将网页中的图片下载到本地了。当然,你还可以根据自己的需求对代码进行修改和优化。
阅读全文