PCA降维与SVM理论：结构风险、VC维与Hard-Margin求解

在黎郡模式识别的第六次作业中，主要内容涉及以下几个关键知识点： 1. **主成分分析(PCA)**: 在有N个样本、每个样本维数为D，希望降维至K维的情况下，PCA算法的具体步骤包括： - 计算所有样本的均值向量，将其从每个样本中减去实现中心化。 - 计算样本集的协方差矩阵，这是一个DxD的矩阵。 - 对协方差矩阵进行特征值分解，得到特征向量（对应于数据的主要方向）和特征值（衡量方差程度）。 - 排序特征值，选择前K个最大的特征值对应的特征向量作为降维基向量。 - 构建投影矩阵，通过这个矩阵将原始数据映射到低维空间。 - 对每个样本进行投影，从而实现降维，得到K维的表示。 2. **结构风险最小化与VC维**: - 结构风险最小化强调的是寻找既能准确拟合训练数据，又能在未见过的数据上表现良好的模型。它结合了经验风险（训练集上的误差）和模型复杂度，目标是降低模型的泛化误差。 - VC维则衡量一个模型能学习的最大样本数量，一个具有K+1维的超平面可以完美区分K个类别。VC维越高，模型复杂度越大，但并不总是与参数量成正比。计算VC维通常比较困难，它与模型的泛化能力有关。 3. **硬间隔支持向量机(Hard-Margin SVM)**: 当数据线性可分时，Hard-Margin SVM的目标是找到一个最大边距（margin），使得所有样本点到分界面的距离最大化。优化目标是： - 设定目标函数为最大化margin，同时保证分类正确且分界面位于两类数据之间。 - 将问题转化为二次规划问题，通过引入松弛变量处理线性不可分的情况，得到软间隔的支持向量机(Soft-Margin SVM)。 4. **Hinge Loss**: - 在SVM中，Hinge Loss是一种损失函数，用于软间隔的支持向量机。对于线性不可分的数据，Hard-Margin SVM不适用，因为无法保证所有样本都被正确分类。Hinge Loss引入松弛变量，允许部分样本稍微越界，以平衡分类的正确性和模型复杂度。在分类正确的样本上，Hinge Loss仅关注预测值是否大于或等于1；而在分类错误的样本上，损失函数惩罚预测值小于1的情况，允许模型犯少数错误，但最大化间隔以提高泛化性能。 黎郡模式识别作业1主要围绕降维技术（PCA）、机器学习模型的泛化能力和复杂度（结构风险和VC维）、以及支持向量机（尤其是Hard-Margin和Soft-Margin的理论及其损失函数）展开讨论。