fit_transform() 与 transform() 的区别

fit_transform()和transform()都是数据预处理中常用的函数，两者的区别在于：

fit_transform()函数用于训练模型并对数据进行转换。它首先对数据进行训练，然后将训练后的模型应用于数据集进行转换。因此，fit_transform()函数只能在训练集上进行调用，不能在测试集上使用，否则会导致信息泄露。

transform()函数只对数据进行转换，不进行训练。它将已经训练好的模型应用于数据集进行转换。因此，transform()函数可以在训练集和测试集上使用，但是必须先使用fit()函数对模型进行训练，然后再使用transform()函数进行转换。

举个例子，假设我们有一个数据集X，包含n个样本和p个特征。我们想要对数据进行标准化处理，即将每个特征的均值归零，方差归一化。我们可以使用StandardScaler类来完成这个任务。在对数据进行标准化处理时，我们应该首先对训练集进行fit_transform()操作，然后再对测试集进行transform()操作。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)

在这个例子中，我们首先实例化了StandardScaler类，并将其赋值给变量scaler。然后，我们对训练集X_train进行fit_transform()操作，将结果保存在变量X_train_std中。接着，我们对测试集X_test进行transform()操作，并将结果保存在变量X_test_std中。注意，我们在对测试集进行标准化处理时，使用了已经fit过的StandardScaler对象，并调用了transform()函数。这是因为，在训练集上fit()过的模型已经包含了训练集的统计信息，我们只需要使用这个模型对测试集进行转换即可。