爬虫爬取图片用xpath

使用 Python 的 requests 库和 lxml 库，可以使用 xpath 来爬取网页中的图片。

首先，使用 requests 库获取网页的内容，然后使用 lxml 库将网页内容转换为 etree 对象。接着，使用 xpath 来获取所有图片的链接，然后下载图片。

以下是一个简单的例子：

import requests
from lxml import etree

# 网页链接
url = 'https://www.example.com/'

# 获取网页内容
response = requests.get(url)
html = response.text

# 将网页内容转换为 etree 对象
etree_html = etree.HTML(html)

# 获取所有图片的链接
img_links = etree_html.xpath("//img/@src")

# 下载图片
for img_link in img_links:
    img_response = requests.get(img_link)
    with open('image.jpg', 'wb') as f:
        f.write(img_response.content)

在上面的代码中，`//img/@src` 表示获取所有 `<img>` 标签的 `src` 属性。可以根据需要修改 xpath 表达式来获取特定的图片。

相关问题

python爬虫爬取图片xpath

以下是一个简单的Python爬虫脚本，用于爬取网页上的图片并保存到本地。这里采用了XPath来解析HTML文档。

import requests
from lxml import html

# 目标网页链接
url = 'https://www.example.com'

# 发送HTTP请求
response = requests.get(url)

# 解析HTML文档
tree = html.fromstring(response.content)

# 获取所有图片的URL
img_urls = tree.xpath('//img/@src')

# 下载图片并保存到本地
for img_url in img_urls:
    img_response = requests.get(img_url)
    with open(img_url.split('/')[-1], 'wb') as f:
        f.write(img_response.content)

在这个脚本中，我们首先使用requests库发送HTTP请求，并使用lxml库中的html模块解析HTML文档。然后，我们使用XPath表达式获取所有图片的URL，并遍历这些URL，下载图片并保存到本地。

需要注意的是，在实际使用中，我们需要根据不同的网站和HTML文档结构，调整XPath表达式以正确地获取目标元素。

python lxml爬虫爬取图片

你可以使用 Python 的 `lxml` 库和 `requests` 库来爬取网页中的图片。以下是一些基本步骤：

1. 首先，你需要安装 `lxml` 和 `requests` 库。你可以使用以下命令来安装它们：

   pip install lxml
   pip install requests

2. 接下来，你需要使用 `requests` 库发送 HTTP 请求，获取网页的 HTML 内容。例如：

   import requests

   url = 'https://www.example.com'
   response = requests.get(url)
   html_content = response.content

3. 然后，你需要使用 `lxml` 库解析 HTML 内容，并找到其中的图片。例如：

   from lxml import html

   # 将 HTML 内容转换为 Element 对象
   doc = html.fromstring(html_content)

   # 找到所有 img 标签
   img_tags = doc.xpath('//img')

   # 遍历所有 img 标签，获取图片链接
   img_urls = []
   for img in img_tags:
       img_url = img.get('src')
       img_urls.append(img_url)

4. 最后，你可以使用 `requests` 库下载图片。例如：

   for img_url in img_urls:
       response = requests.get(img_url)
       with open('image.jpg', 'wb') as f:
           f.write(response.content)

这样，你就可以将网页中的图片下载到本地了。当然，你还可以根据自己的需求对代码进行修改和优化。