支持向量机在分类与回归中的理论与应用探索

"这篇博士学位论文深入探讨了支持向量机（SVM）在分类与回归问题中的应用。作者孙德山在导师吴今培的指导下，详细阐述了SVM的理论基础，比较了SVM与其他机器学习方法如贝叶斯和神经网络的优势，并提出了新的多值分类和回归算法。论文分为七章，涵盖了从基本概念到具体应用的全面研究。" 支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习模型，最初用于分类任务，后来扩展到回归分析等领域。SVM的核心思想是结构风险最小化，它不是简单地追求经验风险最小，而是考虑了泛化能力，旨在减少未来未知数据的预测误差。相较于神经网络，SVM有较少的可调参数，训练过程转化为解决凸二次规划问题，确保得到的解是全局最优且通常唯一。 论文的第一章概述了分类与回归的基本方法，包括贝叶斯分类、神经网络和SVM。贝叶斯方法基于概率理论，神经网络模仿人脑神经元的工作原理，而SVM则利用间隔最大化原则构建决策边界。 第二章详细介绍了SVM的一类分类、二值分类和回归算法，并提出了一种多值分类算法。这种算法避免了通过多个二值分类实现多值分类的复杂性，使得一类、二值和多值分类得以统一。此外，还提出了多值分类的分解形式，以应对大规模数据的分类挑战。 第三章重点在于线性规划下的SVM方法，包括新的回归模型和多值分类算法。这些模型简化了原有的复杂结构，同时保持了预测性能。通过结合KPCA（基于核的主成分分析）和多值分类算法，作者建立了一个人脸识别模型，实验验证了其有效性。 第四章进一步扩展了SVM回归模型，提出了一种单参数约束的回归模型，以及针对异方差性的加权支持向量回归算法。当数据存在异方差性时，这种方法的预测效果更准确。 这篇论文对SVM的理论与实践进行了深入研究，提供了新的算法和模型，为实际问题的解决提供了有力工具。通过这些方法，SVM在处理小样本、高维数据和复杂模式识别问题上展现了强大的潜力。