stacking代码实现

Stacking（堆叠）是一种集成学习的方法，它通过将多个基本模型的预测结果作为新特征输入到一个元模型中，来进一步提升模型性能。下面是一个简单的 stacking 代码实现：

import numpy as np
from sklearn.model_selection import KFold
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error

# 基本模型列表
base_models = [LinearRegression(), RandomForestRegressor()]

# 元模型
meta_model = LinearRegression()

# 加载数据集
X, y = load_data()

# 初始化 stacking 结果矩阵
stacking_train = np.zeros((X.shape[0], len(base_models)))

# 交叉验证
kf = KFold(n_splits=5, shuffle=True)
for i, (train_index, valid_index) in enumerate(kf.split(X)):
    # 获取训练集和验证集
    X_train, y_train = X[train_index], y[train_index]
    X_valid, y_valid = X[valid_index], y[valid_index]

    # 训练基本模型并预测验证集
    for j, model in enumerate(base_models):
        model.fit(X_train, y_train)
        y_pred = model.predict(X_valid)
        stacking_train[valid_index, j] = y_pred

# 训练元模型
meta_model.fit(stacking_train, y)

# 测试集 stacking
stacking_test = np.zeros((X_test.shape[0], len(base_models)))
for j, model in enumerate(base_models):
    model.fit(X, y)
    y_pred = model.predict(X_test)
    stacking_test[:, j] = y_pred

# 预测测试集
y_pred = meta_model.predict(stacking_test)

# 性能评估
mse = mean_squared_error(y_test, y_pred)

该代码中，我们使用了两个基本模型（线性回归和随机森林回归），并将它们的预测结果作为新特征输入到一个线性回归元模型中。在交叉验证过程中，我们分别训练两个基本模型，并使用它们的预测结果构建 stacking 训练集。在测试集中，我们同样使用两个基本模型进行预测，并将它们的预测结果作为新特征输入到元模型中进行预测。最后，我们使用均方误差（MSE）对预测结果进行性能评估。