机器学习回顾：线性回归与Logistic回归

"主要内容-5.1回归与最优化" 回归是数据分析中常用的方法，用于预测连续数值型的结果。在本课程中，回归主要涵盖了线性回归和逻辑回归两种常见模型。 1. **线性回归**是回归分析的基础，通过找到最佳的直线或超平面来拟合数据点。在最简单的形式中，线性回归模型可以表示为 `y = ax + b`，其中 `y` 是因变量，`x` 是自变量，`a` 和 `b` 是待估计的参数。当存在多个自变量时，模型扩展为多元线性回归，如 `y = θ0 + θ1x1 + θ2x2 + ... + θnxn`，其中 `θ0, θ1, ..., θn` 是参数。 2. **逻辑回归**，虽然名字中带有“回归”，但实际上是用于分类任务，特别是二分类问题。它基于Logistic函数，也称为Sigmoid函数，将连续的线性组合转换为(0,1)之间的概率值。Logistic函数的形式为 `f(z) = 1 / (1 + e^-z)`，其中 `z` 是线性组合。 3. **最优化问题**是寻找模型参数的过程，目标是使损失函数最小化。这里讨论了三种最优化方法： - **梯度下降**是最常用的参数优化算法，通过沿着损失函数梯度的反方向更新参数，逐步逼近局部最优或全局最优解。 - **牛顿法**基于泰勒展开，利用二阶导数（Hessian矩阵）进行参数更新，通常能更快地收敛，但计算成本较高。 - **拟牛顿法**如BFGS和L-BFGS，这些方法在没有计算Hessian矩阵的全量信息下，近似牛顿法，既能保持快速收敛，又降低了计算复杂性。 4. **参数学习算法**和**非参数学习算法**的区别在于，参数学习算法（如线性回归和逻辑回归）假设数据遵循某种固定数量的参数模型，而非参数学习算法（如K近邻、决策树等）则不设定固定参数数量，而是随着数据量增加而自动调整。 5. 在课程中，除了复习已讲过的概念，还会重点讲解之前未涉及的内容，包括各种优化算法的细节和具体应用，以及线性回归和逻辑回归的更深入理解，如局部加权线性回归（LWR），其在处理非线性关系时通过局部权重调整模型。 6. **梯度下降**有批处理和随机梯度下降两种变体。批处理梯度下降使用所有训练样本来更新参数，确保每个步骤的稳定性，但可能较慢。随机梯度下降则每次只用一个样本更新，速度快但可能会震荡。 7. **Logistic回归**的参数估计是通过最大化对数似然函数来完成的，这涉及到迭代过程，直到参数达到稳定状态。 本课程深入探讨了回归模型的理论基础和实际应用，以及解决最优化问题的不同策略，旨在帮助学习者掌握预测建模的关键技能。