机器学习基础：梯度下降与线性回归

"这篇资源是关于机器学习的复习总结，主要涵盖了梯度下降法、线性回归、逻辑回归以及Softmax回归等基本概念和方法。作者Zhc在2018年12月26日编写，目的是为次日的考试做准备。" **梯度下降法** 梯度下降法是优化算法的一种，它通过沿着目标函数梯度的反方向进行迭代，逐步接近局部最优解。基本的梯度下降公式是在每次迭代时更新参数，使其向梯度的负方向移动。有三种常见的变体： 1. **标准梯度下降法**：每次迭代都基于所有样本计算梯度。 2. **随机梯度下降法（SGD）**：每次迭代仅选取一个随机样本来计算梯度，这使得SGD在大数据集上更加高效，但可能会导致收敛速度不稳定。 3. **小批量随机梯度下降法（MSGD）**：介于标准梯度下降和SGD之间，每次迭代使用一小批样本来计算梯度，既减少了计算量，又增加了稳定性。 **线性回归** 线性回归是一种预测模型，用于建立输入变量与输出变量之间的线性关系。设有m个样本，线性回归模型通常表示为： \[ \hat{y} = w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n \] 其中，\( \hat{y} \) 是预测值，\( w_i \) 是权重，\( x_i \) 是特征。最小二乘法是求解线性回归参数的常用方法，其损失函数是均方误差（MSE），损失函数的梯度可用于更新权重。线性回归有闭式解，即解析解，可以通过求解偏微分方程得到。 **逻辑回归** 逻辑回归是处理二分类问题的模型，它利用Sigmoid函数将线性回归的结果映射到[0,1]区间，以表示概率。Sigmoid函数定义为： \[ f(x) = \frac{1}{1+e^{-x}} \] 逻辑回归的拟合模型同样通过极大似然估计得到，损失函数通常是交叉熵损失，其梯度可用于参数更新。 **Softmax回归** Softmax回归，也称为多项逻辑回归，是逻辑回归的扩展，用于处理多分类问题。假设存在k个类别，模型表示为： \[ P(y=j|x;w) = \frac{e^{w_j^Tx}}{\sum_{i=1}^{k} e^{w_i^Tx}} \] 损失函数通常采用交叉熵损失，并添加正则化项以防止过拟合。当k=2时，Softmax回归简化为逻辑回归。 这些基本概念是机器学习入门的基础，对于理解更复杂的深度学习模型如神经网络至关重要。在实际应用中，理解并掌握这些方法可以帮助我们更好地构建和优化预测模型。