python爬取贝壳网二手房信息

好的，这里提供一种基于Python的爬取贝壳网二手房信息的方法，具体步骤如下：

1. 安装相关库

使用Python之前，需要安装相关的库。这里我们需要用到requests、beautifulsoup4、pandas和openpyxl这几个库。可以使用以下命令进行安装：

pip install requests
pip install beautifulsoup4
pip install pandas
pip install openpyxl

2. 获取网页源代码

使用requests库获取贝壳网二手房信息的网页源代码。代码如下：

import requests

url = "https://sz.ke.com/ershoufang/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
html = response.text

这里我们以深圳市的贝壳网为例，获取的网页源代码保存在html变量中。

3. 解析网页源代码

使用beautifulsoup4库解析网页源代码，获取二手房信息。代码如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
house_list = soup.find("ul", class_="sellListContent").find_all("li")

这里我们使用find方法找到class为“sellListContent”的ul标签，然后使用find_all方法找到所有的li标签，存放在house_list变量中。

4. 提取房源信息

遍历house_list，提取出每个房源的信息。例如，我们可以把房源的标题、总价、单价、小区名、户型、面积、朝向、楼层、年代等信息提取出来，存放在一个列表中。代码如下：

house_info_list = []
for house in house_list:
    title = house.find("div", class_="title").text.strip()
    total_price = house.find("div", class_="totalPrice").text.strip()
    unit_price = house.find("div", class_="unitPrice").text.strip()
    positionInfo = house.find("div", class_="positionInfo").text.strip()
    room = house.find("div", class_="room").text.strip()
    area = house.find("div", class_="area").text.strip()
    towards = house.find("div", class_="towards").text.strip()
    floor = house.find("div", class_="floor").text.strip()
    year = house.find("div", class_="year").text.strip()
    house_info = [title, total_price, unit_price, positionInfo, room, area, towards, floor, year]
    house_info_list.append(house_info)

5. 存储房源信息

使用pandas库将房源信息存储到Excel文件中。代码如下：

import pandas as pd

df = pd.DataFrame(house_info_list, columns=["标题", "总价", "单价", "小区名", "户型", "面积", "朝向", "楼层", "年代"])
df.to_excel("house_info.xlsx", index=False)

这里我们将房源信息存储到名为“house_info.xlsx”的Excel文件中。

完整代码如下：