机器学习五则交叉验证

机器学习中有多种交叉验证方法，这里重点介绍其中五种：

1. **K-Fold Cross Validation**[^1]: 数据集被分成k个相等大小的部分（折），每次取其中k-1部分作为训练集，剩下的部分作为测试集。重复k次，每次选择不同的测试集，最后平均结果。优点是能充分利用全部数据，但计算成本较高。

2. **Stratified K-Fold Cross Validation**: 对类别分布保持一致，适合不平衡数据集。与标准K-Fold相似，但保证每个类别的样本在每个子集中的比例相同。

3. **Leave-One-Out Cross Validation (LOOCV)**: 特别适用于小样本数据，每个样本都会被单独当作测试集，其余做训练。虽然准确度高，但计算代价巨大。

4. **Monte Carlo Cross Validation (Shuffle Split)**: 随机划分数据，多次重新采样以减少偏倚，适合数据集较大的情况。

5. **Bootstrap Aggregating (Bagging)**: 使用自助采样法创建多个独立的训练集，模型对每个训练集拟合，最终结果是它们的平均或多数投票。这有助于降低过拟合风险。

这些方法的选择取决于具体的数据集特性，比如大小、类别平衡性以及可用资源。每种方法都有其适用场景和局限性。在实际应用中，可能需要结合业务需求和实验实践来决定最佳的交叉验证策略。