支持向量机实验：从感知机到SVM

"svm_lab.pdf" 本实验主要关注支持向量机（Support Vector Machines，简称SVM）在机器学习中的应用。支持向量机是一种强大的分类工具，尤其在处理线性可分数据集时表现优秀。它寻找能够最优地将两类数据分开的超平面。与感知机算法相比，虽然两者都是寻找线性决策边界的模型，但SVM的目标是找到最优化的边界，而感知机则是在找到任何可行的分离超平面后停止迭代。 1. 感知机算法： 感知机是一个简单的线性分类器，它的工作原理是不断更新权重向量w，直到找到一个能够将数据正确分类的超平面。在二维空间中，这个超平面表现为一条直线。感知机的更新规则基于误分类的数据点，每次迭代都会调整权重以使误分类点朝正确方向移动。 2. 数据预处理： 实验提供了名为“generators.txt”的文件，包含56行关于发动机的数据，包括RPM（转速）、振动测量值以及工作状态（0表示故障，1表示正常）。首先，我们需要读取这个文件并将数据提取出来，重点关注第2列（RPM）、第3列（振动测量值）和第4列（工作状态）。为了使数据规范化，我们需要计算RPM和振动测量值的最小值和最大值，然后将这两个特征缩放到0到1的范围内，生成新的变量r和v。 3. 初始化和训练： 初始权重向量w被设置为1的3维列向量。接下来，定义一个n×3的数组X，用于存储每个样本的标准化特征r、v和工作状态。然后，我们可以用这些标准化特征来运行感知机算法，不断迭代直至找到合适的分类边界。 4. 支持向量机（SVM）： 相比于感知机，SVM寻找的是最大间隔（Margin）的超平面，也就是能够最大化两类样本距离的边界。这个间隔是支持向量到超平面的距离，支持向量是距离超平面最近的那些样本点。SVM通过解决一个凸二次规划问题来找到这个最优超平面，确保在训练集上的泛化能力。 5. 核函数： 在实际应用中，很多数据是非线性可分的。SVM通过引入核函数，如线性核、多项式核或高斯核（RBF），将原始数据映射到高维空间，在这个空间中可能更容易找到线性可分的超平面。 6. 实验步骤： 实验可能包括以下步骤： - 读取并预处理数据。 - 实现感知机算法，进行迭代训练。 - 实现SVM，选择合适的核函数，如RBF。 - 训练SVM模型，并对比感知机和SVM的分类效果。 - 可能还需要对测试集进行预测，并评估模型的性能，例如计算准确率、精确率、召回率和F1分数。 通过这个实验，学生将深入理解线性分类模型的工作原理，尤其是感知机和SVM之间的差异，同时掌握数据预处理和模型训练的基本技巧。此外，实验还将强调在实际问题中选择合适模型和参数的重要性。