xpath爬虫示例代码
时间: 2023-03-03 16:39:21 浏览: 125
aaaaaaaaaaaxpath.zip
以下是一个使用XPath进行网页爬虫的示例代码:
```python
import requests
from lxml import etree
# 发送请求获取网页内容
url = 'http://example.com'
response = requests.get(url)
html = response.text
# 使用XPath解析网页内容
selector = etree.HTML(html)
title = selector.xpath('//title/text()')[0]
links = selector.xpath('//a/@href')
# 输出结果
print(title)
print(links)
```
这段代码首先使用 requests 库发送请求获取网页内容,然后使用 lxml 库的 etree 模块将网页内容解析成一个 Selector 对象。接着使用 XPath 表达式来提取网页中的标题和链接,最后将结果打印输出。
阅读全文