特征选择 训练集和测试集怎么划分
时间: 2023-08-21 11:07:47 浏览: 39
在进行特征选择时,应该在划分训练集和测试集之前进行特征选择,以避免在测试集中出现训练集的特征。具体来说,应该将特征选择应用于训练集和测试集的联合数据集,然后再将其划分为训练集和测试集。
以下是一个示例代码:
```python
from sklearn.datasets import make_classification
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
# 生成数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=10, random_state=42)
# 特征选择
selector = SelectKBest(f_classif, k=10)
X_new = selector.fit_transform(X, y)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_new, y, test_size=0.3, random_state=42)
# 训练模型
clf = LogisticRegression(random_state=42)
clf.fit(X_train, y_train)
# 在测试集上评估模型
score = clf.score(X_test, y_test)
print("Accuracy:", score)
```
在这个例子中,我们首先生成一个具有20个特征的数据集。接下来,我们使用`SelectKBest`方法进行特征选择,选择了10个最好的特征。然后,我们将特征选择应用于训练集和测试集的联合数据集,然后将其划分为训练集和测试集。最后,我们在测试集上评估模型的准确性。注意,我们是在联合数据集上进行特征选择,而不是在训练集和测试集上分别进行特征选择。这样可以确保测试集与训练集是相互独立的,从而得到更准确的评估结果。