【进阶】一元线性回归分析

# 1. 一元线性回归分析概述**

一元线性回归分析是一种统计建模技术，用于研究一个因变量（响应变量）与一个自变量（预测变量）之间的线性关系。其基本假设是因变量和自变量之间存在线性相关性，即因变量的变化可以由自变量的线性变化来解释。

一元线性回归模型的数学表示为：

y = β0 + β1x + ε

其中：

* y 是因变量
* x 是自变量
* β0 是截距，表示当自变量为 0 时的因变量的平均值
* β1 是斜率，表示自变量每增加一个单位，因变量平均增加的量
* ε 是误差项，表示模型无法解释的因变量的变化

# 2. 一元线性回归模型的建立

### 2.1 模型的数学表示

一元线性回归模型是一种描述两个变量之间线性关系的统计模型。它假设因变量（响应变量）`y`和自变量（解释变量）`x`之间的关系可以表示为一条直线：

y = β0 + β1 * x + ε

其中：

* `β0` 是截距，表示当自变量 `x` 为 0 时的因变量 `y` 的值。
* `β1` 是斜率，表示自变量 `x` 每增加一个单位，因变量 `y` 的变化量。
* `ε` 是误差项，表示模型无法解释的因变量 `y` 的变异。

### 2.2 模型参数的估计

#### 2.2.1 最小二乘法

最小二乘法是一种估计线性回归模型参数的方法。它的目标是找到一组参数 `(β0, β1)`，使模型预测值与实际观测值之间的平方误差最小。

**步骤：**

1. 计算残差平方和（RSS）：

RSS = Σ(y - ŷ)²

其中：

* `y` 是实际观测值
* `ŷ` 是模型预测值

2. 对残差平方和求导并令其等于 0：

∂RSS/∂β0 = -2Σ(y - ŷ) = 0
∂RSS/∂β1 = -2Σ(y - ŷ) * x = 0

3. 求解上述方程组，得到参数估计值：

β1 = Σ(x - x̄) * (y - ȳ) / Σ(x - x̄)²
β0 = ȳ - β1 * x̄

其中：

* `x̄` 和 `ȳ` 分别是自变量和因变量的均值

#### 2.2.2 最大似然估计

最大似然估计是一种估计线性回归模型参数的方法。它的目标是找到一组参数 `(β0, β1)`，使模型的似然函数最大。

**步骤：**

1. 假设误差项 `ε` 服从正态分布，即：

ε ~ N(0, σ²)

其中：

* `σ²` 是误差项的方差

2. 根据正态分布的概率密度函数，写出模型的似然函数：

L(β0, β1, σ²) = (2πσ²)^(-n/2) * exp(-RSS / (2σ