机器学习基石：从感知机到二元决策

"这是一份来自林轩田的《机器学习基石》第二讲的讲义，主要探讨了如何让机器学会回答是/否的问题，包括感知机假设集、感知机学习算法（PLA）以及非可分数据的情况。" 在机器学习领域，"机器学习基石"是一个基础且重要的概念，它构成了所有后续学习算法的基础。第二讲的主题是"Learning to Answer Yes/No"，即教会机器如何对问题做出是或否的回答。这一主题与实际生活中的分类问题紧密相关，例如信用审批问题，通过对申请人信息的分析来判断是否批准贷款。 首先，讲义提到了"Perceptron Hypothesis Set"，这是指感知机模型的假设空间。感知机是一种简单的线性分类器，它可以将输入特征映射到一个二元输出，即"是"或"否"。在信用审批问题中，这些特征可能包括申请人的年龄、性别、年收入、居住年限、工作年限和现有债务等。 接下来，"Perceptron Learning Algorithm (PLA)"是用于训练感知机模型的一种算法。PLA通过迭代更新权重，尝试找到一条能正确划分训练数据集的超平面。如果存在这样的超平面，即数据是可分的，PLA可以保证最终找到一个全局最优解。 然而，当数据集是"Non-Separable"，即不能被一个超平面完美分割时，PLA并不能保证找到一个完美的解决方案。在这种情况下，PLA可能会陷入无限循环或者无法收敛。尽管如此，感知机在实际应用中仍然有用，因为它可以作为其他更复杂学习算法的基础，如支持向量机(SVM)。 讲义还提到了"Learning Algorithm"和"final hypothesis"，即学习算法和最终的假设函数。学习算法A的目标是从历史记录（训练数据集D）中学习，找到一个接近理想目标函数f的近似函数g。这个g就是我们所说的最终假设，它将在未知的新实例上进行预测，帮助我们做出"是"或"否"的决策。 这份讲义深入浅出地介绍了机器学习中基础的感知机模型和学习过程，对于理解分类问题和监督学习有着重要意义。学习这部分内容不仅可以帮助我们理解基础的机器学习理论，还能为后续研究更复杂的算法打下坚实基础。