决策树在波士顿房价预测中的实现

决策树是一种常用的机器学习算法，可以用于分类和回归任务，其中回归任务包括波士顿房价预测问题。下面是在波士顿房价预测中使用决策树算法的实现步骤：

1.导入所需的库和数据集。

import pandas as pd
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 导入波士顿房价数据集
df = pd.read_csv('boston_housing.csv')

2.将数据集分为训练集和测试集。

# 将数据集拆分为训练集和测试集
X = df.drop('medv', axis=1)
y = df['medv']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

3.创建决策树模型并进行训练。

# 创建决策树模型并进行训练
model = DecisionTreeRegressor(max_depth=5)
model.fit(X_train, y_train)

4.使用测试集进行预测并计算均方误差（MSE）。

# 使用测试集进行预测并计算 MSE
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print('MSE:', mse)

5.输出决策树模型的特征重要性。

# 输出决策树模型的特征重要性
importance = model.feature_importances_
for i,v in enumerate(importance):
    print('Feature:', X_train.columns[i], 'Score:', v)

以上就是在波士顿房价预测中使用决策树算法的实现步骤。通过这个例子，我们可以看到决策树是一种简单而有效的机器学习算法，可以用于回归问题。同时，通过输出特征重要性，我们可以了解每个特征对于预测结果的影响程度，这对于我们进行特征工程非常有帮助。