过采样 训练集和测试集怎么划分

在使用过采样方法（如SMOTE）时，应该在划分训练集和测试集之前进行过采样，以避免在测试集中出现训练集的样本。具体来说，应该将过采样应用于训练集，然后再将训练集划分为训练集和验证集，最后使用测试集进行模型评估。

以下是一个示例代码：

from imblearn.over_sampling import SMOTE
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression

# 生成不平衡数据集
X, y = make_classification(n_classes=2, class_sep=2,
                           weights=[0.1, 0.9], n_informative=3,
                           n_redundant=1, flip_y=0, n_features=20,
                           n_clusters_per_class=1, n_samples=1000,
                           random_state=10)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 对训练集进行过采样
smote = SMOTE(random_state=42)
X_train_res, y_train_res = smote.fit_resample(X_train, y_train)

# 训练模型
clf = LogisticRegression(random_state=42)
clf.fit(X_train_res, y_train_res)

# 在测试集上评估模型
score = clf.score(X_test, y_test)
print("Accuracy:", score)

在这个例子中，我们首先生成一个不平衡的数据集，然后将其划分为训练集和测试集。接下来，我们对训练集进行过采样，然后训练一个逻辑回归模型。最后，我们在测试集上评估模型的准确性。注意，我们只在训练集上进行过采样，而没有在测试集上进行过采样。这样可以确保测试集与训练集是相互独立的，从而得到更准确的评估结果。