对datasets的波士顿房价数据集进行简单的探索 自编knn回归函数并用于波士顿房价数据集的预测
时间: 2024-05-05 18:22:08 浏览: 134
好的,下面我来帮你讲解一下如何对波士顿房价数据集进行简单的探索并自编knn回归函数进行预测。
## 波士顿房价数据集
波士顿房价数据集是一个经典的房价预测数据集,包含506个样本和13个特征,其中包括城镇犯罪率、住宅平均房间数、距离五个波士顿就业中心的加权距离等。数据集中的目标变量为房价中位数。我们可以使用Python中的sklearn库来加载该数据集:
```python
from sklearn.datasets import load_boston
boston = load_boston()
X = boston.data
y = boston.target
```
## 数据探索
接下来,我们可以对数据集进行简单的探索,包括观察数据集的大小、特征的分布情况等。例如,我们可以使用pandas库来将数据集转换成DataFrame格式,并使用describe函数来查看每个特征的统计信息:
```python
import pandas as pd
df = pd.DataFrame(X, columns=boston.feature_names)
df.describe()
```
此外,我们还可以使用seaborn库中的pairplot函数来查看两两特征之间的关系:
```python
import seaborn as sns
sns.pairplot(df[['CRIM', 'RM', 'AGE', 'DIS', 'MEDV']])
```
## 自编knn回归函数
在完成数据探索之后,我们可以使用knn算法来对波士顿房价数据集进行预测。knn算法是一种基于距离度量的算法,它通过计算新样本与训练集中各个样本之间的距离,并选取k个最近的样本进行预测。在回归问题中,我们可以使用这k个最近样本的平均值作为预测值。下面是自编的knn回归函数:
```python
import numpy as np
class KNNRegressor:
def __init__(self, k):
self.k = k
def fit(self, X, y):
self.X_train = X
self.y_train = y
def predict(self, X):
y_pred = []
for x in X:
distances = np.sqrt(np.sum((self.X_train - x)**2, axis=1))
k_idx = np.argsort(distances)[:self.k]
k_nearest_y = self.y_train[k_idx]
y_pred.append(np.mean(k_nearest_y))
return np.array(y_pred)
```
在该回归函数中,我们需要指定k值,表示选取与新样本最近的k个样本进行预测。在fit函数中,我们将训练集的特征和目标值保存下来,在predict函数中,对于新样本中的每个向量,计算其与训练集中所有样本之间的距离,并选取k个最近的样本进行预测。
## 预测结果
最后,我们可以使用自编的knn回归函数来对波士顿房价数据集进行预测,并使用sklearn中的mean_squared_error函数来计算预测结果的均方误差:
```python
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
knn = KNNRegressor(k=5)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)
print('MSE:', mean_squared_error(y_test, y_pred))
```
这样,我们就完成了对波士顿房价数据集的简单探索和使用自编的knn回归函数进行预测。
阅读全文