python 交叉验证详细解说

交叉验证是一种常用的模型评估方法，它可以帮助我们更好地评估模型的性能，同时避免了过拟合等问题。在Python中，sklearn库提供了非常方便的交叉验证功能。

1.K折交叉验证：将数据集分成k份，依次将每份作为验证集，其余的k-1份作为训练集，进行模型训练和评估，最终得到k个模型的评估指标，一般取平均值作为模型最终的评估指标。

以下是一个使用sklearn库中KFold函数实现的5折交叉验证的例子：

from sklearn.model_selection import KFold

kf = KFold(n_splits=5, shuffle=True, random_state=0) # 定义5折交叉验证实例
for train_index, val_index in kf.split(X):
    X_train, X_val = X[train_index], X[val_index] # 划分训练集和验证集
    y_train, y_val = y[train_index], y[val_index]
    # 模型训练和评估
    model = train_model(X_train, y_train)
    score = evaluate_model(model, X_val, y_val)
    print('模型评估指标：', score)

2.重复K折交叉验证：重复进行K折交叉验证，可提高模型评估的可靠性，一般重复3-5次。

以下是一个使用sklearn库中Repeater和KFold函数实现的重复5折交叉验证的例子：

from sklearn.model_selection import RepeatedKFold

rkf = RepeatedKFold(n_splits=5, n_repeats=3, random_state=0) # 定义重复5折交叉验证实例
for train_index, val_index in rkf.split(X):
    X_train, X_val = X[train_index], X[val_index] # 划分训练集和验证集
    y_train, y_val = y[train_index], y[val_index]
    # 模型训练和评估
    model = train_model(X_train, y_train)
    score = evaluate_model(model, X_val, y_val)
    print('模型评估指标：', score)

引用: 4.3划分训练集与验证集 #划分训练集和验证集 from sklearn.model_selection import train_test_split X_train,X_val,y_train,y_val=train_test_split(X,y,test_size=0.2,random_state=0) [^1]。引用: 不同模型的效果均值对比 plt.subplots(1,4,figsize=(16,3)) for i,col in enumerate(lgb_crosseval.columns): n=int(str('14')+str(i+1)) plt.subplot(n) plt.plot(lgb_crosseval[col], 'k', label='LGB') plt.plot(xgb_crosseval[col], 'b-.', label='XGB') plt.plot(rf_crosseval[col], 'r-^', label='RF') plt.title(f'不同模型的{col}对比') plt.xlabel('重复交叉验证次数') plt.ylabel(col,fontsize=16) plt.legend() plt.tight_layout() plt.show() 。