多元线性回归如何对损失函数矩阵求导

多元线性回归的损失函数为平方误差和，即

$$J(\theta) = \frac{1}{2m} \sum_{i=1}^m (\hat{y}_i - y_i)^2$$

其中 $\theta$ 是模型参数，$\hat{y}_i$ 是模型对第 $i$ 个样本的预测值，$y_i$ 是第 $i$ 个样本的真实值，$m$ 是样本数。

设模型的预测值为

$$\hat{y} = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_n x_n$$

其中 $x_i$ 是第 $i$ 个特征值，$n$ 是特征数。

对于 $\theta_j$，我们需要求出 $\frac{\partial J(\theta)}{\partial \theta_j}$，即损失函数对第 $j$ 个参数的偏导数。

我们可以先求出 $\frac{\partial J(\theta)}{\partial \hat{y}}$，即损失函数对预测值的偏导数：

$$\frac{\partial J(\theta)}{\partial \hat{y}} = \frac{1}{m} \sum_{i=1}^m (\hat{y}_i - y_i)$$

然后再根据链式法则求出 $\frac{\partial \hat{y}}{\partial \theta_j}$：

$$\frac{\partial \hat{y}}{\partial \theta_j} = \begin{cases} 1, & j=0 \\ x_j, & j \in [1,n] \end{cases}$$

最后，根据乘法法则和求导公式，我们可以得到：

$$\frac{\partial J(\theta)}{\partial \theta_j} = \frac{\partial J(\theta)}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^m (\hat{y}_i - y_i) \cdot \begin{cases} 1, & j=0 \\ x_j, & j \in [1,n] \end{cases}$$

将上式写成矩阵形式，可以得到损失函数对参数的偏导数矩阵：

$$\frac{\partial J(\theta)}{\partial \theta} = \frac{1}{m} X^T (X\theta - y)$$

其中 $X$ 是样本特征矩阵，$X\theta$ 是预测值向量，$y$ 是真实值向量。