爬虫爬取图片用xpath
时间: 2023-11-09 11:46:14 浏览: 93
爬虫爬取图片
使用 Python 的 requests 库和 lxml 库,可以使用 xpath 来爬取网页中的图片。
首先,使用 requests 库获取网页的内容,然后使用 lxml 库将网页内容转换为 etree 对象。接着,使用 xpath 来获取所有图片的链接,然后下载图片。
以下是一个简单的例子:
```python
import requests
from lxml import etree
# 网页链接
url = 'https://www.example.com/'
# 获取网页内容
response = requests.get(url)
html = response.text
# 将网页内容转换为 etree 对象
etree_html = etree.HTML(html)
# 获取所有图片的链接
img_links = etree_html.xpath("//img/@src")
# 下载图片
for img_link in img_links:
img_response = requests.get(img_link)
with open('image.jpg', 'wb') as f:
f.write(img_response.content)
```
在上面的代码中,`//img/@src` 表示获取所有 `<img>` 标签的 `src` 属性。可以根据需要修改 xpath 表达式来获取特定的图片。
阅读全文