标准化回归系数与最小二乘法回归系数的关系式推导过程

标准化回归系数和最小二乘法回归系数之间的关系可以用下面的公式表示：β= (X'X)-1X'Y，其中X是解释变量的矩阵，Y是因变量的列向量，而β是最小二乘法回归系数。而标准化回归系数则可以表示为：β* = (X*'X*)-1X*'Y，其中X*'X*是X'X的单位矩阵，X*'是X'的标准化形式，Y同样是最小二乘法回归系数。因此，我们可以得出标准化回归系数和最小二乘法回归系数之间的关系式：β* = (X*'X*)-1X*'Y = (X'X)-1X'Y = β。

相关问题

matlab多元线性回归最小二乘法算回归系数

### 使用MATLAB实现多元线性回归

为了在MATLAB中使用最小二乘法计算多元线性回归的回归系数，可以利用内置函数`fitlm()`或手动构建矩阵运算来解决这个问题。对于后者，基于公式\[ \hat{\beta} = (X^\top X)^{-1}X^\top y\][^4]，可以通过以下方式编写代码。

下面展示了一个具体的例子，说明如何创建设计矩阵\(X\)以及观测向量\(y\)，并最终求解回归系数：

% 假设已知的数据集如下：
% 设计矩阵 X （包括截距项）
X = [ones(size(data(:,1))), data(:,1), data(:,2)]; % 添加一列为全1表示截距项
y = response; % 因变量

% 计算回归系数 beta_hat
beta_hat = inv(X' * X) * X' * y;
disp('OLS 估计的回归系数:');
disp(beta_hat);

此段代码实现了对给定数据集中自变量和因变量之间关系建模的过程，并得到了相应的参数估计值。需要注意的是，在实际应用过程中应当先检查输入数据的质量，比如是否存在缺失值等问题；另外还需注意共线性的潜在影响[^3]。

此外，还可以借助MATLAB中的统计工具箱提供的更高层次接口来进行更复杂的操作，如诊断残差、检验假设等。例如，使用`fitlm()`可以直接获得更加丰富的输出信息，而无需自行处理许多细节问题。

一元线性回归推导最小二乘法

### 一元线性回归中的最小二乘法推导

在一元线性回归中，目标是找到一条直线来最好地描述两个变量 \( x \) 和 \( y \) 之间的关系。这条直线可以用下面的方程表示：

\[ y = wx + b \]

其中：
- \( w \) 是斜率，
- \( b \) 是截距。

为了使模型尽可能好地拟合数据集，需要定义一种衡量标准来评估不同参数组合下的误差大小。常用的方法是最小化残差平方和 (RSS)，也称为最小二乘法。具体来说，对于给定的数据点集合 \( {(x_i, y_i)}_{i=1}^{n} \)，希望找到最优的 \( w \) 和 \( b \)，使得所有样本点到该直线的距离之和最小[^1]。

#### 定义损失函数

设实际观测值为 \( y_i \)，而根据当前假设得到的预测值为 \( \hat{y}_i = wx_i + b \)，则第 i 个样本对应的残差 e 可以写作:

\[ e_i = y_i - (\widehat{wx_i+b}) \]

因此，整个训练集中所有样本的总误差 E(w,b) 表达如下：

\[ E(w,b)=\sum_{i=1}^ne_i^2=\sum_{i=1}^n(y_i-(wx_i+b))^2 \]

这个表达式就是所谓的 **均方误差** 或者说 **残差平方和** ，它用来度量我们的模型与真实情况之间差距的程度[^2]。

#### 寻找最佳参数

为了让上述公式达到极小值，可以通过对 \( w \) 和 \( b \) 分别求偏导数，并令其等于零来进行优化操作。这样做的目的是让这些参数能够最大程度上减小整体误差。下面是具体的计算过程：

针对 \( w \):

\[ \frac{\partial}{\partial w}\left[\sum_{i=1}^{n}(y_i-wx_i-b)^2\right]=0 \]

展开后简化可得：

\[ 2\cdot(-)\sum_{i=1}^{n}x_ie_i=-2\sum_{i=1}^{n}x_i(y_i-wx_i-b)=0 \]

进一步整理得出关于 \( w \) 的正规方程形式：

\[ nwb+\sum_{i=1}^{n}bx_i-\sum_{i=1}^{n}xy_i+w\sum_{i=1}^{n}x_i^2=0 \]

同理，针对 \( b \):

\[ \frac{\partial}{\partial b}\left[\sum_{i=1}^{n}(y_i-wx_i-b)^2\right]=0 \]

最终获得另一个正规方程：

\[ nb+\sum_{i=1}^{n}wx_i-\sum_{i=1}^{n}y_i=0 \]

联立这两个方程式即可解出 \( w \) 和 \( b \)[^3]。

通过以上步骤完成了一元线性回归里最小二乘法公式的理论证明。当有了具体的数值之后就可以带入相应的公式去估算未知系数了。

import numpy as np

def compute_coefficients(X, Y):
    """ 计算简单线性回归的最佳拟合线 """
    
    mean_x = np.mean(X)
    mean_y = np.mean(Y)

    num = sum((X-mean_x)*(Y-mean_y))
    den = sum(pow((X-mean_x), 2))

    slope = num / den  
    intercept = mean_y - slope*mean_x
    
    return slope, intercept