request怎么一次性用xpath爬取多个网页
时间: 2023-10-15 10:07:27 浏览: 165
Python使用requests xpath 并开启多线程爬取西刺代理ip实例
您可以使用 Python 中的 requests 和 lxml 库来实现一次性使用 XPath 爬取多个网页。具体步骤如下:
1. 导入 requests 和 lxml 库
```
import requests
from lxml import etree
```
2. 定义要爬取的网页链接列表
```
urls = ['http://www.example.com/page1', 'http://www.example.com/page2', 'http://www.example.com/page3']
```
3. 循环遍历链接列表,发送请求并解析网页内容
```
for url in urls:
response = requests.get(url)
html = response.text
tree = etree.HTML(html)
# 使用 XPath 选取需要的内容
result = tree.xpath('//div[@class="content"]/p/text()')
print(result)
```
在上述代码中,我们使用 for 循环遍历链接列表,依次发送请求并解析网页内容。使用 XPath 选取需要的内容时,需要根据实际情况编写 XPath 表达式。最终打印出来的结果就是每个网页中选取的内容。
阅读全文