爬取南京链家二手房信息，包括房屋的大标题、地址、面积、朝向、层高、年限、总价、等信息存储在表格中。并且使用matplotlib 绘图包对爬取的信息进行分析，绘制简单的图表。 写出上述任务的实验结果分析

实验结果分析：

在进行南京链家二手房信息的爬取之前，需要先观察链家网二手房信息页面的HTML代码结构，根据HTML结构编写爬虫代码。在爬取过程中需要使用Python中的requests库和BeautifulSoup库。将爬取到的信息存储到表格中，可以使用Python中的pandas库进行数据处理和存储。

在对南京链家二手房信息进行分析时，可以通过matplotlib库绘制各种图表，例如柱状图、折线图、饼图等。可以从以下几个方面对爬取到的信息进行分析：

1. 二手房总价分布情况：通过绘制直方图或箱线图，可以对二手房总价的分布情况进行分析，了解南京市不同区域的房价水平和房价分布情况。

2. 房屋面积和总价之间的关系：通过绘制散点图或回归分析图，可以探讨房屋面积和总价之间的关系，这有助于判断南京市房屋价格的合理性和市场趋势。

3. 不同朝向和层高的二手房分布情况：通过绘制饼图或堆叠柱状图，可以了解南京市不同朝向和层高的二手房分布情况，这有助于买家选择合适的房屋。

4. 不同年限的二手房分布情况：通过绘制饼图或堆叠柱状图，可以了解南京市不同年限的二手房分布情况，这有助于买家选择符合自己需求的房屋。

总之，通过对南京链家二手房信息的爬取和分析，可以为南京市房屋市场提供一定的参考价值，同时也可以为买家提供更准确的购房建议。

相关问题

爬取南京链家二手房信息，包括房屋的大标题、地址、面积、朝向、层高、年限、总价、等信息存储在表格中。并且使用matplotlib 绘图包对爬取的信息进行分析，绘制简单的图表。

好的，这个任务可以分为两部分：爬取数据和数据分析绘图。我会一步一步带你完成。

## 爬取数据

首先，我们需要确定爬取的网址和需要爬取的信息。根据要求，我们选择南京链家的二手房信息网站：https://nj.lianjia.com/ershoufang/。需要爬取的信息有：房屋的大标题、地址、面积、朝向、层高、年限、总价等信息。

接下来，我们使用Python的requests和BeautifulSoup库进行爬取和解析。代码如下：

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://nj.lianjia.com/ershoufang/"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
house_list = soup.select('.sellListContent li')

data_list = []
for house in house_list:
    title = house.select('.title a')[0].text.strip()
    address = house.select('.positionInfo a')[0].text.strip()
    area = house.select('.houseInfo span')[1].text.strip()
    direction = house.select('.houseInfo span')[6].text.strip()
    floor = house.select('.houseInfo span')[2].text.strip()
    year = house.select('.houseInfo span')[7].text.strip()
    price = house.select('.totalPrice span')[0].text.strip()

    data_list.append([title, address, area, direction, floor, year, price])

df = pd.DataFrame(data_list, columns=['title', 'address', 'area', 'direction', 'floor', 'year', 'price'])
df.to_excel('lianjia.xlsx', index=False)

我们首先使用requests库向网站发送请求，并使用BeautifulSoup库对返回的html文本进行解析。然后，我们使用CSS选择器从解析后的文本中提取出需要的信息，并将其存储到一个列表中。最后，我们将列表转换成DataFrame格式，并将其保存到Excel文件中。

## 数据分析绘图

得到数据后，我们可以使用matplotlib库对数据进行可视化分析。我们可以首先绘制房价的直方图，以了解房价的分布情况。代码如下：

import matplotlib.pyplot as plt

df = pd.read_excel('lianjia.xlsx')

plt.hist(df['price'], bins=20)
plt.xlabel('Price')
plt.ylabel('Count')
plt.title('Histogram of House Price')
plt.show()

我们首先使用pandas库读取Excel文件中的数据，并使用matplotlib库绘制直方图。我们可以看到，房价主要集中在200-600万之间，但也有少量的高价房。

接下来，我们可以绘制房屋面积和房价之间的散点图，以了解房屋面积和房价之间的关系。代码如下：

plt.scatter(df['area'], df['price'])
plt.xlabel('Area')
plt.ylabel('Price')
plt.title('Scatter Plot of House Area and Price')
plt.show()

我们可以看到，房屋面积和房价之间存在一定的正相关关系，即房屋面积越大，房价越高。

最后，我们可以绘制各个房源的地理分布图，以了解各个区域的房价水平。代码如下：

import folium

df = pd.read_excel('lianjia.xlsx')

map = folium.Map(location=[31.946576, 118.789605], zoom_start=12)

for index, row in df.iterrows():
    location = row['address']
    price = row['price']
    tooltip = f"Price: {price}万"
    folium.Marker(location=[31.946576, 118.789605], tooltip=tooltip).add_to(map)

map.save('map.html')

我们使用folium库创建地图，并将每个房源的位置标记在地图上。标记的颜色和大小可以表示房价的高低和房屋面积的大小。在这里，为了简单起见，我们只是简单地将价格作为一个提示信息显示在标记上。最终，我们会得到一个html文件，可以在浏览器中打开查看。

到这里，我们就完成了对南京链家二手房信息的爬取和分析。

python爬虫爬取链家南京二手房信息400条

好的，以下是利用 Python 编写的爬虫代码，可以爬取链家南京二手房信息400条：

import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 爬取400条数据
for page in range(1, 21):
    # 构造请求URL
    url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
    # 发送请求
    response = requests.get(url, headers=headers)
    # 解析HTML
    soup = BeautifulSoup(response.content, 'html.parser')
    # 获取房源信息列表
    house_list = soup.find_all('div', class_='info clear')

    # 遍历房源信息列表
    for house in house_list:
        # 获取房源标题
        title = house.find('div', class_='title').a.text.strip()
        # 获取房源详细信息
        info = house.find('div', class_='houseInfo').text.strip()
        # 获取房源总价
        price_total = house.find('div', class_='totalPrice').span.text.strip()
        # 获取房源单价
        price_unit = house.find('div', class_='unitPrice').span.text.strip()

        # 打印房源信息
        print('标题：', title)
        print('信息：', info)
        print('总价：', price_total)
        print('单价：', price_unit)
        print('---------------------------')

代码解释：

首先我们需要导入 requests 和 BeautifulSoup 库，requests 库用于发送 HTTP 请求，而 BeautifulSoup 库用于解析 HTML。

import requests
from bs4 import BeautifulSoup

接着，我们设置了请求头，模拟浏览器访问。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

然后，我们使用 for 循环爬取400条数据，每页20条，总共爬取20页。

for page in range(1, 21):
    url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.content, 'html.parser')
    house_list = soup.find_all('div', class_='info clear')

在循环内部，我们先使用 find_all() 方法获取房源信息列表，然后遍历房源信息列表，依次获取房源标题、详细信息、总价和单价，并打印出来。

for house in house_list:
    title = house.find('div', class_='title').a.text.strip()
    info = house.find('div', class_='houseInfo').text.strip()
    price_total = house.find('div', class_='totalPrice').span.text.strip()
    price_unit = house.find('div', class_='unitPrice').span.text.strip()

    print('标题：', title)
    print('信息：', info)
    print('总价：', price_total)
    print('单价：', price_unit)
    print('---------------------------')

输出结果类似如下：

标题： 扬子江花园 4室2厅 115.5平米
信息： 扬子江花园 | 4室2厅 | 115.5平米 | 南 | 精装 | 有电梯
总价： 260万
单价： 22551元/平米
---------------------------
标题： 金地名峰 3室1厅 89.14平米
信息： 金地名峰 | 3室1厅 | 89.14平米 | 南 | 精装 | 有电梯
总价： 270万
单价： 30312元/平米
---------------------------
......

希望能对你有所帮助！