林轩田《机器学习技法》笔记1：优化分类决策边界

在林轩田教授的《机器学习技法》课程笔记第一课中，重点讨论了线性支持向量机（Linear Support Vector Machine, SVM）的基本概念。在处理线性可分的数据时，PLA/pocket算法可以找到一条超平面来分离正负两类数据，如二维空间中的直线。然而，这条超平面并非唯一，可能存在多条能够达到分类目的的线，如图示的三条可能的分类线。 关键概念是“最大边缘分离超平面”（Large-Margin Separating Hyperplane），即在保证分类正确的同时，选择使得正负类别间的间隔（margin）最大的线。这样的决策基于一个直观理解：在训练样本之外，实际的测量数据可能会偏离训练样本，理想的分类线应使这些数据点与最近的边界保持一定距离，从而提高模型对未知数据的泛化能力。离分类线越远的样本点，意味着模型对测量误差（noise）的容忍度更高，模型的稳健性更强。 选择第三条直线作为最优分类线，是因为它提供了更大的“安全区”，即样本点周围较大的圆形区域，使得即使有小的测量误差，也不会轻易导致误分类。这个原则在机器学习中被称为“最大间隔”策略，它有助于减少过拟合的风险，提升模型的鲁棒性。 在《机器学习基石》的基础上，这门进阶课程将深入研究更多高级算法和技巧，比如不同的核函数（kernel trick）如何处理非线性问题，以及SVM的优化方法，如软间隔（soft margin）和拉格朗日乘子法。通过这些内容，学生将更深入理解和支持向量机在实际问题中的应用及其优势。