量化投资：探究回测过拟合概率与CSCV框架

"本文介绍了华泰证券关于人工智能系列研究的第二十二篇报告，主要关注基于CSCV（组合对称交叉验证）框架的回测过拟合概率问题。报告通过分析三组不同的量化研究案例，揭示了回测过拟合可能带来的误导性结论，并探讨了过拟合的两个层次：训练过拟合和回测过拟合。" 在金融领域的量化投资中，过拟合是模型性能评估中的一个重要问题。过拟合指的是模型在训练数据上表现良好，但在未见过的新数据（如回测或实盘阶段）上表现不佳的现象。报告详细阐述了过拟合的两个层次： 1. 训练过拟合：主要发生在机器学习模型中，模型在训练集上拟合过度，导致在测试集上的预测效果下降。解决训练过拟合通常可以通过选择合适的模型复杂度，如调整超参数或限制模型训练迭代次数，以及采用交叉验证等方法来改善。 2. 回测过拟合：这是量化投资领域特有的问题，模型在回测阶段显示出优秀的业绩，但在实际交易中却无法复制这些结果。回测过拟合可能源于市场环境的变化、对历史数据噪声的过度学习，或者过于依赖特定时期的数据特性。解决回测过拟合的策略通常包括使用多种量化指标来检验模型的稳健性，以及采用更严格的回测框架，如CSCV。 报告列举了三个具体的案例： 1. 案例1涉及7种机器学习模型应用于多因子选股策略，结果显示大多数增强组合的回测过拟合概率（PBO）在15%~50%之间，这意味着报告中得出的“XGBoost表现最佳”的结论可能是由于回测过拟合造成的。 2. 案例2对比了6种交叉验证方法在多因子选股策略中的应用，多空组合的PBO处于20%~50%区间，暗示“分组时序交叉验证表现最佳”的结论同样可能受到回测过拟合的影响。 3. 案例3考察了双均线50ETF择时策略，发现某些参数组合的PBO高达50%~90%，这提示我们“参数组合[11,30]和[11,24]表现最佳”的判断可能基于回测过拟合。 通过这些案例，报告强调了在量化投资中使用CSCV框架来估计回测过拟合概率的重要性，以提高模型的泛化能力和投资决策的可靠性。同时，报告也提醒投资者和研究者要警惕模型在回测阶段的优异表现可能并不意味着在实际交易中的成功，因此需要采取措施来控制和检测回测过拟合。