xpath爬取老照片并保存
时间: 2023-10-11 19:04:37 浏览: 111
您可以使用XPath来爬取网页上的老照片并保存。下面是一个使用Python的示例代码,使用XPath从HTML中提取照片的URL,并将其保存到本地。
```python
import requests
from lxml import etree
def save_image(url, filename):
response = requests.get(url)
with open(filename, 'wb') as f:
f.write(response.content)
def crawl_images(url, xpath_expression):
response = requests.get(url)
html = response.text
tree = etree.HTML(html)
image_urls = tree.xpath(xpath_expression)
for i, url in enumerate(image_urls):
filename = f"image_{i}.jpg"
save_image(url, filename)
print(f"Image {i+1} saved as {filename}")
# 设置要爬取的网页URL和XPath表达式
url = "https://example.com"
xpath_expression = "//img/@src"
# 调用函数进行爬取与保存
crawl_images(url, xpath_expression)
```
在上面的代码中,您需要将`url`变量设置为要爬取的网页URL,将`xpath_expression`变量设置为XPath表达式,该表达式将用于提取照片的URL。然后,代码将会从网页中的所有图片链接中获取URL,并将图片保存到本地。
请注意,这只是一个简单的示例代码,您可能需要根据实际情况进行适当的修改和处理异常情况。另外,请确保遵守网站的使用条款和法律法规,以确保合法和合规的数据爬取。
阅读全文