支持向量机多类分类算法优化研究

本文详细探讨了支持向量机（Support Vector Machine, SVM）在多类分类问题中的应用，重点在于优化理论和算法的研究。作者袁玉萍在周志坚教授指导下，针对多类分类问题，构建了高效的支持向量机算法。 在支持向量机的多类分类中，传统的一对一（One-vs-One, OVO）和一对多（One-vs-All, OVA）结构都存在效率问题，尤其是在处理大规模数据集时。对于K类分类问题，OVO和OVA方法都需要解决K(K-1)/2个二次规划问题，这导致了计算速度的显著下降。为了解决这一问题，作者提出了一种基于线性规划的一对一三类结构支持向量分类器。这个新模型借鉴了Chih-Wen Hsu等人的研究，同时也考虑了Cecilio A等人提出的二次规划方法的优势。新模型通过线性规划避免了二次规划的复杂性，利用成熟的预测-校正原对偶内点法，实现了更快的训练速度和保持良好的分类精度。 此外，作者还基于K-SVCR算法（K-Support Vector Classification with Regression, K-SVCR）结构提出了新的模型。原K-SVCR算法仅提供了模型定义，缺乏求解策略，限制了其实际应用。新模型改进了这一状况，其一阶优化条件可转换为线性互补问题，通过拉格朗日隐函数进一步优化。这一改进使得模型的求解更具效率，同时保持了目标函数的凸性，有利于找到全局最优解。 本文的研究为支持向量机在多类分类问题上的应用提供了新的思路和优化算法，对于提高大规模数据集的处理效率具有重要意义。通过实证试验，这些新方法展示了优秀的性能，既保证了分类准确性，又显著提升了训练速度。这些研究成果对于机器学习领域，特别是支持向量机算法的改进和发展，具有深远的影响。