多元线性回归的最小二乘表达式

多元线性回归是一种统计分析方法，用于研究多个自变量与一个因变量之间的线性关系。在最小二乘法中，我们试图找到一组参数，使得实际观测值与模型预测值之间的误差平方和最小化。最小二乘法的核心思想是通过迭代优化来估计这些参数，使得总体误差达到最小。

假设我们有 \( n \) 个观测数据点，每个数据点 \( (x_1, x_2, ..., x_p, y) \)，其中 \( p \) 是自变量（特征）的数量，\( y \) 是因变量。线性回归模型的一般形式可以表示为：

\[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_p x_p + \varepsilon \]

其中，\( \beta_0 \) 是截距，\( \beta_1, \beta_2, ..., \beta_p \) 是各个自变量对应的系数，\( \varepsilon \) 是随机误差项，通常假设为独立同分布的均值为0的误差。

最小二乘法下的参数估计目标函数（误差平方和）可以表示为：

\[ S(\mathbf{\beta}) = \sum_{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... + \beta_p x_{pi}))^2 \]

这里的 \( \mathbf{\beta} = [\beta_0, \beta_1, ..., \beta_p]^T \) 是系数向量。为了求解这个优化问题，我们会采用梯度下降或其他优化算法来找到使 \( S(\mathbf{\beta}) \) 达到最小的系数值。