python爬取58同城二手房信息_爬虫58同城二手房信息

好的，这是一个比较具体的问题，我可以为你提供一些思路和参考代码。

首先，我们需要了解58同城二手房信息的页面结构和数据请求方式。通过分析网页源代码和浏览器开发者工具，可以发现58同城二手房信息的页面是采用Ajax技术加载的，数据请求方式是POST请求，请求参数中包含了城市、区域、价格等筛选条件。

接下来，我们可以使用Python的requests模块发送POST请求，获取二手房信息的JSON数据。然后，使用Python的json模块解析JSON数据，提取出我们需要的房源信息，例如房源名称、总价、单价、房间数、面积、朝向、楼层等信息。

最后，我们可以使用Python的pandas模块将房源信息存储到CSV文件中，方便后续的数据分析和处理。

下面是一个简单的代码示例，仅供参考：

import requests
import json
import pandas as pd

# 设置请求头信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 设置POST请求参数
data = {
    'PGTID': '0d100000-0000-1e9c-0d96-1d72c30b2f0e',
    'ClickID': '1',
    'comm_id': '0',
    'created': '7',
    'curPage': '1',
    'datainfo': 'eyJwYWdlIjoxLCJ0eXBlIjoxLCJjaXR5IjoxLCJjYXRlZ29yeSI6IjIwMjEtMDYtMDEiLCJhbGwiOiIiLCJwYXJhbXMiOiIiLCJ1dGlsaXR5IjoiIiwic3RhdHVzIjoiIiwiYWpheCI6IiJ9',
    'from': '1',
    'isfirst': 'true',
    'local': '1',
    'order': 'time',
    'over': '0',
    'param': '2_1_0_0_0_0_0',
    'propertytype': '1',
    'room': '0',
    'showMore': '1',
    'shownow': '0',
    'sign': 'dfc3f07bcfd1ad6c124a3d7b5fbc4c6b',
    'source': 'list',
    'sug': '0',
    'w': '1'
}

# 发送POST请求，获取JSON数据
url = 'https://appapi.58.com/house/listV3?'
response = requests.post(url, headers=headers, data=data)
json_data = json.loads(response.text)

# 解析JSON数据，提取房源信息
house_list = []
for item in json_data['data']['list']:
    house_info = {}
    house_info['title'] = item['title']
    house_info['total_price'] = item['price']
    house_info['unit_price'] = item['unitprice']
    house_info['room_num'] = item['room']
    house_info['area'] = item['area']
    house_info['orientation'] = item['orient']
    house_info['floor'] = item['floor']
    house_list.append(house_info)

# 将房源信息存储到CSV文件中
df = pd.DataFrame(house_list)
df.to_csv('house_info.csv', index=False)

这段代码可以爬取58同城二手房信息的第一页数据，并将房源信息存储到名为house_info.csv的CSV文件中。如果需要爬取多页数据，可以通过修改POST请求参数中的curPage参数来实现。