机器学习初步：梯度下降法与最小二乘法解析

"本次实验是关于机器学习初步的讲解，主要关注梯度下降法和最小二乘法。实验由学生梁瑛平完成，使用Python 3.6以上版本的Jupyter开发环境，依赖于sklearn 0.23.1和numpy 1.16.2库。实验目标是理解并应用梯度下降法解决一元线性回归问题，同时也涉及最小二乘法的原理和实践。" 实验的核心知识点包括： 1. **梯度下降法的原理**：梯度下降是一种优化算法，用于寻找函数最小值。在机器学习中，它常用于求解损失函数的最小值，从而更新模型参数。基本思想是从一个初始点出发，沿着梯度的反方向（即损失函数下降最快的方向）更新参数，以期望在迭代过程中逐渐接近全局最小值。 2. **梯度下降法的更新公式**：在每次迭代中，参数w的更新规则是w = w - learning_rate * gradient，其中learning_rate是学习率，gradient是损失函数关于w的偏导数。这个公式反映了梯度下降法如何根据当前梯度信息调整参数。 3. **最小二乘法**：最小二乘法是一种求解线性回归问题的方法，通过最小化预测值与真实值之间的残差平方和来确定模型参数。在一元线性回归中，最小二乘法可以求得使得误差平方和达到最小的w0和w1。 实验对比了梯度下降法和最小二乘法： - **相同点**：两者都基于损失函数，试图减小预测值与真实值的误差，即均方误差（MSE）。 - **不同点**：最小二乘法是直接通过求导求解闭式解，非迭代过程；而梯度下降法是迭代方法，从一个起始点开始逐步逼近最小值。梯度下降可能找到局部最小而非全局最小，且受初始点选择和学习率设置影响较大。 实验中，学生需要处理的数据点为x和对应的y值，用以拟合一元线性回归方程y(x, w) = w0 + w1 * x。通过编写自定义函数，使用最小二乘法计算w0和w1的值。同时，实验也鼓励学生通过梯度下降法实现同样的目标，从而加深对这两种方法的理解和应用。 实验的收获在于，不仅理论学习了两种优化方法，还在实践中掌握了它们的实现，提升了综合运用数学知识和编程技能的能力。