差分进化优化的最小二乘支持向量机约简方法

"基于差分进化优化的约简最小二乘支持向量机 (2011年) - 高润鹏, 伞冶" 本文主要探讨了如何改善最小二乘支持向量回归机（Least Squares Support Vector Regression Machine, LSSVR）的性能，特别是针对其解的稀疏性和预测速度的不足。LSSVR是一种广泛应用于回归分析和预测的机器学习方法，它通过最小化训练数据的平方误差和来构建模型。然而，LSSVR的模型通常包含大量的支持向量，这可能导致计算效率低下和模型复杂度过高。 作者提出了一个创新的解决方案，即利用向量相关分析在高维特征空间中进行支持向量的约简。这种约简旨在保留原始模型的关键信息，同时减少模型的复杂性。为了找到最佳的约简模型，他们引入了一个新的性能评价准则，即比较原模型与约简模型对训练样本预测的平方误差和。这个准则有助于确保约简后的模型能够尽可能接近原始模型的预测能力。 进一步，作者设计了离散的加法、减法和乘法算子，并将新的性能评价准则作为适应度函数，应用整数编码的差分进化算法（Differential Evolution, DE）进行全局优化。差分进化是一种强大的全局优化技术，能够搜索多模态和非线性问题的全局最优解。整数编码使得DE可以处理离散变量，非常适合于选择和支持向量的约简过程。 通过在4个标准数据集上的实验，新算法表现出了优于传统方法的泛化性能。尽管在某些情况下，泛化性能可能会略有下降，但支持向量的数量显著减少，这意味着模型的计算效率得到了显著提升。这不仅降低了计算成本，还可能加速模型的预测速度，对于实时或大数据量的预测任务尤其有利。 这项研究为LSSVR提供了一种有效且高效的优化策略，通过结合向量相关分析和差分进化算法，实现了模型的稀疏化和性能优化。这种方法对于那些需要快速预测并控制模型复杂性的应用场景具有重要的实际价值。