stacking集成模型代码

Stacking集成模型是一种基于模型集成的方法，它通过结合多个模型的预测结果来提高模型性能和稳定性。下面是使用Python实现Stacking集成模型的代码示例：

# 导入所需的库和模块
import numpy as np
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold

# 设置参数
n_folds = 5 # 交叉验证折数
random_seed = 2021 # 随机种子

# 定义基础模型
rf = RandomForestClassifier(n_estimators=100, random_state=random_seed)
gb = GradientBoostingClassifier(n_estimators=100, random_state=random_seed)
lr = LogisticRegression(random_state=random_seed)

# 定义Stacking模型
class StackingModel:
def __init__(self, base_models, stacking_model):
self.base_models = base_models # 基础模型列表
self.stacking_model = stacking_model # Stacking模型

def fit(self, X, y):
# 交叉验证得到基础模型的预测结果
skf = StratifiedKFold(n_splits=n_folds, shuffle=True, random_state=random_seed)
base_models_pred = np.zeros((len(X), len(self.base_models)))
for i, model in enumerate(self.base_models):
for j, (train_idx, valid_idx) in enumerate(skf.split(X, y)):
model.fit(X[train_idx], y[train_idx])
base_models_pred[valid_idx, i] = model.predict_proba(X[valid_idx])[:, 1]

# 在基础模型预测结果的基础上训练Stacking模型
self.stacking_model.fit(base_models_pred, y)

def predict_proba(self, X):
# 得到基础模型的预测结果
base_models_pred = np.zeros((len(X), len(self.base_models)))
for i, model in enumerate(self.base_models):
base_models_pred[:, i] = model.predict_proba(X)[:, 1]

# 用基础模型的预测结果做输入，得到Stacking模型的预测结果
return self.stacking_model.predict_proba(base_models_pred)

# 定义Stacking模型对象
stacking_model = StackingModel(base_models=[rf, gb, lr], stacking_model=lr)

# 训练Stacking模型
stacking_model.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = stacking_model.predict_proba(X_test)[:, 1]

上述代码实现了一个Stacking集成模型，其中使用了三个基础模型（随机森林、梯度提升树、逻辑回归），并将它们的预测结果输入到一个逻辑回归模型中做集成。在训练过程中，通过交叉验证得到基础模型的预测结果，并将其输入到Stacking模型中进行训练；在预测过程中，将测试集的特征输入到基础模型中，得到它们的预测结果，再将预测结果输入到Stacking模型中得到最终的输出。