线性分类器与感知机：监督学习解析

"本次课程是清华大学土木工程系夏季2023年数学建模与数据分析课程的第六讲，主题为监督学习。课程由陈顾主讲，助教包括陈巧云、陈卓宇等多位老师。课程内容涉及线性分类器和感知机等监督学习模型的讲解。" 在监督学习中，我们主要关注如何利用带有标签的数据来训练模型，以便该模型能够对新的未知数据进行预测。监督学习分为两大类：回归和分类。这里我们将主要讨论分类问题。 1. 线性分类器 线性分类器是一种在特征空间中找到一个超平面（对于二维数据是直线，更高维度是超平面）来分割不同类别的模型。在给定的训练集`D = {(x1, y1), (x2, y2), ..., (xn, yn)}`中，每个样本`xi`是一个d维特征向量，对应的标签`yi`属于{-1, +1}。如图1所示，当n=100，d=2时，数据被一条直线分成两部分。线性分类器的决策边界定义为： \[ h(x; \theta, \theta_0) = sgn(\theta^\top x + \theta_0) \] 其中，`sgn`函数根据其输入值的正负决定分类结果，`θ`是权重向量，`θ_0`是偏置项。算法1描述了一个简单的随机线性分类器，通过随机抽样权重和偏置，计算每个模型的训练误差，然后选择误差最小的模型作为最终分类器。 2. 感知机（Perceptron） 感知机由Rosenblatt于1958年基于 McCulloch 和 Pitts 在1943年的神经元模型提出。它是一种在线学习算法，适用于线性可分的数据集。感知机模型的更新规则是：如果一个样本被错误分类，则调整权重向量`θ`和偏置`θ_0`，使得分类边界更接近于正确分类。这个过程会一直进行，直到所有训练样本都被正确分类或达到预设的最大迭代次数。 在实际应用中，线性分类器和感知机往往作为基础模型，或在其他复杂模型（如支持向量机、逻辑回归）中起到关键作用。它们简单且易于理解，但在非线性可分的数据集上表现可能不佳。解决这一问题的方法之一是引入非线性变换，例如通过核函数将原始特征空间映射到高维空间，使数据变得线性可分。 总结来说，监督学习是机器学习中的核心概念，线性分类器和感知机是其中的基础模型。通过理解和掌握这些基础知识，可以为进一步研究更复杂的模型和算法打下坚实的基础。