python手动实现GBDT

GBDT（Gradient Boosting Decision Tree）是一种常用的机器学习算法，它通过不断地迭代训练集上的残差来逐步提升模型的准确率。下面是一个简单的 Python 实现：

import numpy as np
from sklearn.tree import DecisionTreeRegressor

class GBDT:
    def __init__(self, n_estimators=50, learning_rate=0.1, max_depth=3):
        self.n_estimators = n_estimators
        self.learning_rate = learning_rate
        self.max_depth = max_depth
        self.models = []
    
    def fit(self, X, y):
        F_0 = np.mean(y)
        self.models.append(F_0)
        for i in range(self.n_estimators):
            r_i = y - self.predict(X)
            tree_i = DecisionTreeRegressor(max_depth=self.max_depth)
            tree_i.fit(X, r_i)
            self.models.append(tree_i)
        
    def predict(self, X):
        F_X = np.zeros(len(X))
        for model in self.models:
            F_X += self.learning_rate * model.predict(X)
        return F_X

在这个实现中，我们使用了 sklearn 中的 DecisionTreeRegressor 来作为基学习器，每个基学习器都是一棵决策树。在 fit 方法中，我们先计算了平均值 F_0 作为第一个基学习器的预测值，然后利用残差 r_i 训练下一个基学习器，最终将所有基学习器的预测结果加权求和得到最终的预测值。在 predict 方法中，我们遍历所有基学习器，将它们的预测结果加权求和作为最终的预测值。

使用示例：

from sklearn.datasets import load_diabetes
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

diabetes = load_diabetes()
X_train, X_test, y_train, y_test = train_test_split(diabetes.data, diabetes.target, test_size=0.2, random_state=42)

gbdt = GBDT(n_estimators=100, learning_rate=0.1, max_depth=3)
gbdt.fit(X_train, y_train)

y_pred = gbdt.predict(X_test)
print("MSE: ", mean_squared_error(y_test, y_pred))

这里使用了 scikit-learn 自带的糖尿病数据集进行测试，将数据集按 8:2 的比例划分为训练集和测试集，使用 GBDT 进行训练和预测，并计算了均方误差（MSE）作为评价指标。