给出基于最小二乘法计算多元线性回归模型的参数过程
时间: 2023-12-26 07:06:35 浏览: 75
假设有 $m$ 个自变量 $x_1,x_2,\cdots,x_m$,以及 $n$ 个观测值 $(x_{1i},x_{2i},\cdots,x_{mi},y_i)$,其中 $i=1,2,\cdots,n$。多元线性回归模型可以表示为:
$$y=\beta_1x_1+\beta_2x_2+\cdots+\beta_mx_m+\epsilon$$
其中,$\beta_1,\beta_2,\cdots,\beta_m$ 是回归系数,$\epsilon$ 是误差项。通过最小二乘法来求解回归系数,需要以下步骤:
1. 将多元线性回归模型转化为矩阵形式,即:
$$Y=X\beta+\epsilon$$
其中,$Y$ 是 $n\times1$ 的因变量向量,$X$ 是 $n\times(m+1)$ 的设计矩阵,将 $x_1,x_2,\cdots,x_m$ 以及常数项 $1$ 组成一个 $(m+1)\times1$ 的自变量向量,$X$ 的每一行对应一个观测值,$\beta$ 是 $(m+1)\times1$ 的回归系数向量,$\epsilon$ 是 $n\times1$ 的误差向量。
2. 求解回归系数 $\beta$,使得误差平方和最小化,即:
$$\hat{\beta}=\arg\min_{\beta}(Y-X\beta)^T(Y-X\beta)$$
3. 对 $\hat{\beta}$ 进行假设检验,判断回归系数是否显著。可以计算出每个回归系数的标准误、置信区间和假设检验的 $t$ 统计量,判断回归系数是否显著。
4. 对整个回归模型进行假设检验,判断模型的拟合是否显著。可以计算出回归平方和、总平方和和残差平方和,进而计算出回归平方和占总平方和的比例 $R^2$,判断模型的拟合优度。
其中,步骤 2 可以通过对 $\hat{\beta}$ 求导并令导数等于 $0$,解出 $\hat{\beta}$ 的闭式解,即:
$$\hat{\beta}=(X^TX)^{-1}X^TY$$
其中,$(X^TX)^{-1}$ 表示 $X^TX$ 的逆矩阵。这个公式被称为正规方程式。通过正规方程式求解回归系数的时间复杂度为 $O(m^3+n)$。当 $m$ 很大时,可以使用梯度下降等迭代算法来求解回归系数,时间复杂度为 $O(kmn)$,其中 $k$ 是迭代次数。
阅读全文