线性回归梯度下降推导

线性回归中的梯度下降是一种常用的优化算法，用于找到最小化预测值与真实值之间误差平方和的模型参数。其基本思想是从初始猜测开始，沿着误差函数梯度的反方向逐步调整参数，直到达到局部最优解。

以下是简单的一维线性回归（只有一个权重w和偏置b）的梯度下降推导：

1. **代价函数**：对于单变量线性回归，我们通常使用均方误差作为代价函数 \( J(w, b) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2 \)，其中 \( h_\theta(x) = w_0 + w_1x \) 是预测值，\( m \) 是样本数量，\( x^{(i)} \) 和 \( y^{(i)} \) 分别是第i个训练样本的特征和目标值。

2. **梯度计算**：梯度是代价函数关于每个参数的导数，表示了如何改变参数才能使得代价增加最少。对于线性回归，梯度对\( w \)和\( b \)的导数分别是 \( \frac{\partial J}{\partial w} = \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})x^{(i)} \) 和 \( \frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)}) \)。

3. **步长更新**：每一次迭代，我们按照学习率\( \alpha \)乘以当前梯度的负值得到参数的新值：\( w \leftarrow w - \alpha \cdot \frac{\partial J}{\partial w} \) 和 \( b \leftarrow b - \alpha \cdot \frac{\partial J}{\partial b} \)。

4. **循环迭代**：这个过程会一直重复，直到满足停止条件，比如达到预定的最大迭代次数、代价函数变化小于某个阈值或两者都收敛。