最小二乘法怎么推导极大似然估计

最小二乘法是一种统计学方法，用于估计线性模型中的参数，通常假设误差项服从高斯分布并且独立同方差。我们通过最大化数据点到直线的总平方和来找到最佳拟合。以下是最大似然估计的推导过程：

1. **概率模型假设**：假设有 \( n \) 个观测值 \( (x_1, y_1), ..., (x_n, y_n) \)，每个 \( y_i \) 可以由线性函数 \( f(x) = a x + b \) 加上随机误差 \( \epsilon_i \) 描述，即 \( y_i = ax_i + b + \epsilon_i \)，其中 \( \epsilon_i \sim N(0, \sigma^2) \)。

2. **似然函数**：由于误差项是正态分布的，所以观测值 \( y_i \) 对参数 \( a, b \) 的联合概率分布可以表示为：\( P(y | a, b, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(y_i - ax_i - b)^2}{2\sigma^2}} \)。

3. **最大似然估计**：我们的目标是找使得这个联合概率最大的参数值，即 \( a, b \) 和 \( \sigma^2 \)。取对数简化计算，因为对数是单调增加的，我们可以寻找对数似然函数 \( L(a, b, \sigma^2) \) 的最大值：
\[ L = \log P(y | a, b, \sigma^2) = -\frac{n}{2}\log(2\pi) - n\log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(y_i - ax_i - b)^2 \]

4. **求梯度并设为零**：为了找到极大值，我们对 \( L \) 关于每个参数分别求偏导数并设置等于零：
- 对 \( a \): \( \frac{\partial L}{\partial a} = 0 \Rightarrow \frac{1}{\sigma^2}\sum_{i=1}^{n}(y_i - ax_i - b)x_i = 0 \)
- 对 \( b \): \( \frac{\partial L}{\partial b} = 0 \Rightarrow \frac{1}{\sigma^2}\sum_{i=1}^{n}(y_i - ax_i - b) = 0 \)

5. **解方程组**：这将得到两个线性方程，解出 \( a \) 和 \( b \)：
- \( a = \frac{\sum_{i=1}^{n}x_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_i^2 - n\bar{x}^2} \)
- \( b = \bar{y} - a\bar{x} \)
其中 \( \bar{x}, \bar{y} \) 分别是样本均值。

6. **关于 \( \sigma^2 \)**：由于它没有直接出现在 \( L \) 的形式中，我们需要其他方法来估计，比如利用残差平方和（RSS），即 \( RSS = \sum_{i=1}^{n}(y_i - ax_i - b)^2 \)，然后令 \( \hat{\sigma}^2 = \frac{RSS}{n-p} \) （p 是自变量的数量）。

这就是最小二乘法如何从最大似然估计的角度进行推导的过程。