11.1 逻辑回归简介：从线性到分类

"牟琦教授在西安科技大学的中国大学MOOC课程中讲解了11.1章节的逻辑回归，这是关于分类问题的一个重要概念。线性回归被回顾，它是用线性模型描述自变量和因变量关系的方法，用于预测未来或未知数据。随后引入了对数线性回归和广义线性模型，其中联系函数（link function）是关键。逻辑回归是一种二分类方法，通过单位阶跃函数或对数几率函数实现，常用于如鸢尾花分类、手写数字识别等实际问题。" 在【11.1逻辑回归】这一部分，牟琦教授首先回顾了线性回归，这是一种将自变量 \( x \) 和因变量 \( y \) 关系用直线模型表示的方法，公式为 \( y = wx + b \)。线性回归可以基于已有的样本数据来预测新的数据点。然而，对于分类问题，线性回归并不适用，因为它预测的是连续数值，而分类问题需要的是离散的输出。 接着，课程提到了对数线性回归，即 \( y = \ln(\frac{e^b}{1+e^b}) + wx \)，通过取指数得到逻辑函数（也称为Sigmoid函数），它将实数映射到 (0,1) 区间，非常适合表示概率。逻辑回归是广义线性模型的一种，其中联系函数 \( g \) 通常选择为Sigmoid函数，使得模型可以处理二分类问题，即将输出转换为0或1，分别代表两个类别。 在分类问题中，逻辑回归主要应用在二分类问题上，例如判断一封邮件是否为垃圾邮件，或者一个图像中的数字是0-9中的哪一个。分类器的训练过程包括收集特征数据，训练模型，然后用训练好的模型对新的未知数据进行分类。逻辑回归中的决策边界通常由单位阶跃函数或对数几率函数（Logistic Function）定义，它将连续的线性得分 \( z = wx + b \) 转换为概率值。 对数几率函数 \( L(z) = \frac{1}{1+e^{-z}} \) 是一个平滑且连续的函数，用于解决二分类问题。它的输出在0和1之间，当 \( z > 0 \) 时，输出近似1，表示正例；反之，当 \( z < 0 \) 时，输出近似0，表示反例。这种函数使得逻辑回归可以有效地处理非线性的决策边界，因此在实际应用中非常实用。 逻辑回归是机器学习中一种重要的分类算法，尤其适用于二分类问题。通过对线性回归的扩展并结合Sigmoid函数，逻辑回归能够提供离散的分类结果，广泛应用于各种领域，如医学诊断、市场预测、文本分类等。