SequentialFeatureSelector使用案例

SequentialFeatureSelector是一种特征选择方法，它通过迭代地添加或删除特征来选择最佳特征子集。在下面的例子中，我们将使用SequentialFeatureSelector来选择最佳特征子集，以在一个线性回归模型中预测波士顿房价。

首先，我们需要导入必要的库和数据集。我们将使用sklearn自带的波士顿房价数据集。

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from mlxtend.feature_selection import SequentialFeatureSelector as SFS
import numpy as np

# 加载数据集
boston = load_boston()
X, y = boston.data, boston.target

接下来，我们需要定义我们的线性回归模型。

# 定义模型
lin_reg = LinearRegression()

现在，我们可以使用SequentialFeatureSelector来选择最佳特征子集。我们将设置SFS以最大化交叉验证得分，并且每次迭代添加或删除一个特征。

# 定义SFS并运行特征选择
sfs = SFS(lin_reg, 
          k_features=(1, X.shape[1]),
          forward=True, 
          floating=False, 
          scoring='r2',
          cv=5)

sfs.fit(X, y)

最后，我们可以打印出选择的最佳特征子集。

# 打印出选择的最佳特征子集
print('Selected features:', sfs.k_feature_idx_)

输出结果为：

Selected features: (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12)

这意味着我们选择了所有13个特征作为最佳特征子集。我们可以使用这些特征来训练我们的线性回归模型，并进行房价预测。

# 训练模型并进行预测
lin_reg.fit(X[:, sfs.k_feature_idx_], y)
y_pred = lin_reg.predict(X[:, sfs.k_feature_idx_])

这就是SequentialFeatureSelector的一个简单示例。它可以帮助我们选择最佳特征子集，以提高我们的模型性能和预测能力。