pycharm链家二手房采集数据可视化csv代码
时间: 2023-08-05 07:51:20 浏览: 66
以下是一个简单的示例代码,可以实现从链家网站上爬取二手房信息,并将其存储到本地的 csv 文件中,同时使用 pandas 和 matplotlib 库对数据进行可视化。
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt
# 爬取链家二手房信息,并将其存储到本地的 csv 文件中
url = 'https://bj.lianjia.com/ershoufang/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
house_list = soup.select('.sellListContent li')
data = []
for house in house_list:
title = house.select('.title a')[0].text.strip()
price = house.select('.priceInfo .totalPrice span')[0].text.strip()
data.append([title, price])
df = pd.DataFrame(data, columns=['Title', 'Price'])
df.to_csv('lianjia.csv', index=False, encoding='utf-8')
# 使用 pandas 和 matplotlib 库对数据进行可视化
data = pd.read_csv('lianjia.csv')
price = data['Price'].astype(float)
plt.hist(price, bins=20, color='skyblue')
plt.xlabel('Price')
plt.ylabel('Count')
plt.title('Distribution of House Prices')
plt.show()
```
如果需要进行更复杂的数据处理和可视化操作,可以参考 pandas 和 matplotlib 官方文档,或者查找相关的教程和示例代码。