使用xpath爬取58同城二手房的信息
时间: 2023-07-06 08:42:12 浏览: 102
爬虫 爬取58同城二手房信息.zip
5星 · 资源好评率100%
好的,以下是使用Python和XPath爬取58同城二手房信息的示例代码:
```python
import requests
from lxml import etree
url = 'https://bj.58.com/ershoufang/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
html = etree.HTML(response.text)
# 获取所有房源的信息
house_list = html.xpath('//ul[@class="house-list-wrap"]/li')
for house in house_list:
# 获取房源标题
title = house.xpath('.//h2[@class="title"]/a/text()')[0]
# 获取房源价格
price = house.xpath('.//div[@class="price"]/p[@class="sum"]/b/text()')[0]
# 获取房源所在区域
area = house.xpath('.//p[@class="baseinfo"]/a[@class="district"]/text()')[0]
# 获取房源详细地址
address = house.xpath('.//p[@class="baseinfo"]/a[@class="addr"]/text()')[0]
print(title, price, area, address)
```
这段代码使用requests库发送GET请求获取页面内容,然后使用lxml库对页面进行解析,并使用XPath表达式获取所需信息。其中,`//`表示从根节点开始查找,`/`表示从当前节点的直接子节点开始查找,`.`表示当前节点,`..`表示当前节点的父节点,`@`表示获取节点的属性值。
阅读全文