机器学习回顾：线性回归与Logistic回归及优化方法

这篇内容主要介绍了线性回归与最优化方法，包括了回归分析中的线性回归、Logistic回归，以及几种最优化算法如梯度下降、牛顿法和拟牛顿法。此外，还提到了参数学习算法和非参数学习算法的区别。 1. 线性回归： - 线性回归是最基本的回归分析方法，通常用于预测连续型的输出变量。在单变量情况下，模型形式为y = ax + b，其中y是因变量，x是自变量，a是斜率，b是截距。 - 在多变量情况下，模型扩展为y = θ0 + θ1x1 + θ2x2 + ... + θnxn，其中θ0, θ1, ..., θn是待估参数，x1, x2, ..., xn是自变量。 2. 最小二乘法： - 最小二乘法是线性回归中常用的目标函数优化方法，它通过最小化所有样本点与拟合直线之间的平方误差和来确定最优参数θ。 3. 梯度下降算法： - 梯度下降是一种优化算法，用于寻找使目标函数（如最小二乘误差函数）达到最小值的参数。它通过沿着目标函数梯度的负方向更新参数来逐步接近最小值。 - 包括批处理梯度下降和随机梯度下降两种形式。批处理梯度下降使用所有样本进行每次参数更新，而随机梯度下降则只使用一个样本来更新参数，通常用于大数据集或在线学习场景。 4. Logistic回归： - Logistic回归是一种分类模型，其输出是介于0和1之间的概率值。它使用Logistic函数作为激活函数，使得输出可以解释为事件发生的概率。 - Logistic函数的导数有助于在参数估计过程中进行梯度计算。 - Logistic回归参数估计通常采用最大似然估计，通过最大化对数似然函数来求解参数。 5. 参数学习与非参数学习： - 参数学习算法（如线性回归和Logistic回归）假设模型有固定数量的参数，需要通过数据学习这些参数。 - 非参数学习算法不预先设定模型结构，如局部加权线性回归（LWR），它根据每个新样本动态调整权重。 6. 局部加权线性回归（LWR）： - LWR是一种非参数方法，它赋予最近邻样本更大的权重，从而实现局部拟合。权重通常随距离衰减，带宽τ决定了这种衰减的速度。 7. 最优化方法： - 牛顿法和拟牛顿法是迭代优化方法，用于寻找函数极值。它们比梯度下降更快收敛，但计算成本较高，尤其是当参数空间维度增加时。 总结，这篇内容涵盖了回归分析的基础理论和最优化技术，对于理解和应用机器学习中的基础模型有着重要的指导作用。