用 xpath获取济南市链家网总页数
时间: 2023-07-12 09:57:32 浏览: 40
你也可以使用xpath来获取济南市链家网页的总数。以下是获取济南市链家网页总数的代码:
```
import requests
from lxml import etree
url = 'https://jn.lianjia.com/zufang/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}
response = requests.get(url, headers=headers)
html = response.text
selector = etree.HTML(html)
total_page = selector.xpath('//div[@class="content__pg"]/div/@data-totalpage')[0]
print('总页数为:', total_page)
```
这段代码首先发送一个请求到济南市链家网页,然后使用lxml库中的etree模块将网页转化为可操作的对象,接着使用xpath定位到包含总页数的元素,并将结果输出。
相关问题
获取济南市链家网总页数代码
你可以使用 Python 的 requests 库来获取网页数据,然后使用 XPath 或正则表达式来提取所需信息。
以下是一个获取济南市链家网租房信息总页数的示例代码:
```python
import requests
from lxml import etree
url = 'https://jn.lianjia.com/zufang/pg1/#contentList'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
# 获取总页数
response = requests.get(url, headers=headers)
html = etree.HTML(response.text)
total_page = int(html.xpath('//div[@class="content__pg"]/div/@data-totalpage')[0])
print(total_page)
```
这个示例代码可以获取济南市链家网租房信息的总页数。你可以根据自己的需要修改代码,提取其他信息。
获取济南市链家网网页数据
你可以使用 Python 的 requests 库来获取网页数据,然后使用 XPath 或正则表达式来提取所需信息。
以下是一个获取济南市链家网租房信息的示例代码:
```python
import requests
from lxml import etree
url = 'https://jn.lianjia.com/zufang/pg{}/#contentList'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
# 获取总页数
response = requests.get(url.format(1), headers=headers)
html = etree.HTML(response.text)
total_page = int(html.xpath('//div[@class="content__pg"]/div/@data-totalpage')[0])
# 获取每一页的租房信息
for page in range(1, total_page+1):
response = requests.get(url.format(page), headers=headers)
html = etree.HTML(response.text)
# 使用 XPath 提取租房信息,这里只提取标题和租金
titles = html.xpath('//div[@class="content__list"]/div/@title')
prices = html.xpath('//div[@class="content__list"]/div/span/em/text()')
# 输出到控制台
for title, price in zip(titles, prices):
print(title, price)
```
这个示例代码可以获取济南市链家网上所有租房信息的标题和租金。你可以根据自己的需要修改代码,提取其他信息。