python stacking代码

下面是一个使用Python实现Stacking的示例代码，以分类问题为例：

# 导入必要的库
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score, KFold
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
import numpy as np

# 创建一个分类数据集
X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=0, random_state=1)

# 定义基础模型
models = []
models.append(RandomForestClassifier(n_estimators=100, random_state=1))
models.append(GradientBoostingClassifier(n_estimators=50, random_state=1))
models.append(KNeighborsClassifier())

# 定义元模型
meta_model = LogisticRegression()

# 定义Stacking函数
def stacking(models, meta_model, X_train, y_train, X_test, k):
    # 使用KFold将训练数据集分成k个折叠
    kf = KFold(n_splits=k, shuffle=True, random_state=1)
    # 创建一个数组来保存每个基础模型的预测结果
    train_meta_features = np.zeros((X_train.shape[0], len(models)))
    test_meta_features = np.zeros((X_test.shape[0], len(models)))
    # 针对每个基础模型进行训练和预测
    for i, model in enumerate(models):
        # 针对每个折叠进行训练和预测
        for train_index, test_index in kf.split(X_train):
            # 获取训练数据和测试数据
            X_train_fold, X_test_fold = X_train[train_index], X_train[test_index]
            y_train_fold = y_train[train_index]
            # 针对当前基础模型进行训练和预测
            model.fit(X_train_fold, y_train_fold)
            train_meta_features[test_index, i] = model.predict(X_test_fold)
        # 针对当前基础模型进行预测测试数据
        test_meta_features[:, i] = model.predict(X_test)
    # 使用元模型对基础模型的预测结果进行训练和预测
    meta_model.fit(train_meta_features, y_train)
    y_pred = meta_model.predict(test_meta_features)
    return y_pred

# 使用Stacking进行分类预测
y_pred = stacking(models, meta_model, X, y, X, 5)

# 输出预测结果
print(y_pred)

上述代码中，我们使用了三个基础模型（随机森林、梯度提升树和K近邻）和一个元模型（逻辑回归），并将数据集分成了5个折叠。在Stacking函数中，我们首先使用KFold将训练数据集分成5个折叠，并使用每个基础模型对每个折叠进行训练和预测，将预测结果保存到一个二维数组中。然后，我们使用元模型对基础模型的预测结果进行训练和预测，并返回最终的预测结果。