林轩田《机器学习基石》笔记：线性模型在二分类中的应用与比较

在林轩田的《机器学习基石》课程中，第11节深入探讨了线性模型在二元分类中的应用，主要聚焦于线性分类（Linear Classification）、线性回归（Linear Regression）和逻辑回归（Logistic Regression）。这些模型的核心是样本特征x的加权线性运算，通过构建不同的得分函数来评估模型性能。 首先，线性分类模型的hypothesis取值为{-1, +1}，其错误（err）为0/1损失函数，对应的是离散决策边界，寻找最优解是一个NP-hard问题，意味着直接求解较为复杂。而线性回归模型的hypothesis允许实数范围，其错误函数是平方误差，对应的优化问题可以通过闭式形式的最小二乘法解决，具有明确的解析解。 逻辑回归则有所不同，hypothesis值域为(-1, 1)，使用交叉熵误差作为评估指标，使得优化目标成为一个平滑且凸的函数。这种连续的函数形式使得逻辑回归可以通过梯度下降等迭代优化算法找到全局最小值。 三种模型的error function都引入了ys，这是一个与分类正确率相关的得分，其值越大表示模型预测的准确性越高。通过可视化的方式，我们可以直观地理解这些error functions的区别：线性分类的error是关于决策边界的离散函数，线性回归的error形成一个开口向上的二次曲线，而逻辑回归的error则是平滑的凸函数，便于优化。 课程中还讨论了是否能将线性回归和逻辑回归的方法应用于线性分类问题，虽然两种方法理论上可以处理分类问题，但它们的优化特性使得线性回归可能不适合，因为它无法直接得到离散的决策边界。而逻辑回归由于其连续性和优化性质，更适合处理这样的问题。 总结来说，本节课深入剖析了线性模型在分类任务中的适用性，强调了每种模型的数学表达及其优化策略，以及如何根据问题特性选择最合适的模型。通过对线性分类、线性回归和逻辑回归的对比，学员能够更好地理解它们之间的联系和区别，从而在实际项目中更准确地运用这些模型。