pycharm爬取链家二手房数据并可视化保存csv
时间: 2023-08-11 08:48:13 浏览: 268
爬取链家二手房房价数据存入mongodb并进行分析
下面是一个简单的示例代码,可以实现从链家网站上爬取二手房信息,并将其存储到本地的 csv 文件中,同时使用 pandas 和 matplotlib 库对数据进行可视化并保存为图片。
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt
# 爬取链家二手房信息,并将其存储到本地的 csv 文件中
url = 'https://bj.lianjia.com/ershoufang/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
house_list = soup.select('.sellListContent li')
data = []
for house in house_list:
title = house.select('.title a')[0].text.strip()
price = house.select('.priceInfo .totalPrice span')[0].text.strip()
data.append([title, price])
df = pd.DataFrame(data, columns=['Title', 'Price'])
df.to_csv('lianjia.csv', index=False, encoding='utf-8')
# 使用 pandas 和 matplotlib 库对数据进行可视化并保存为图片
data = pd.read_csv('lianjia.csv')
price = data['Price'].astype(float)
plt.hist(price, bins=20, color='skyblue')
plt.xlabel('Price')
plt.ylabel('Count')
plt.title('Distribution of House Prices')
plt.savefig('price_distribution.png')
```
以上示例代码中,我们首先使用 requests 和 BeautifulSoup 库爬取链家二手房信息,并将其存储到本地的 csv 文件中。然后使用 pandas 和 matplotlib 库对数据进行可视化,并将可视化结果保存为图片。如果需要进行更复杂的数据处理和可视化操作,可以参考 pandas 和 matplotlib 官方文档,或者查找相关的教程和示例代码。
阅读全文