最小二乘法的MLE理解模式

最小二乘法是一种常见的参数估计方法，它的核心思想是通过最小化误差平方和来确定模型参数。在最小二乘法中，我们假设误差服从正态分布，即满足 $\epsilon \sim N(0,\sigma^2)$，其中 $\epsilon$ 表示误差，$\sigma^2$ 表示误差的方差。同时，我们还假设数据点之间是独立的。

根据这些假设，我们可以使用最大似然估计（MLE）来求解模型参数。最大似然估计的思想是，通过观察到的数据来确定最有可能产生这些数据的模型参数。在最小二乘法中，我们可以将目标函数转化为似然函数，即：

$$L(\theta|x_1,x_2,...,x_n) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y_i-\theta x_i)^2}{2\sigma^2}\right)$$

其中 $\theta$ 表示模型参数，$x_i$ 和 $y_i$ 分别表示第 $i$ 个观测值的自变量和因变量。我们的目标是最大化似然函数，即求解使得 $L(\theta|x_1,x_2,...,x_n)$ 最大的 $\theta$ 值。

通过对似然函数取对数并对 $\theta$ 求导，我们可以得到最小二乘法的解析解：

$$\hat{\theta} = \frac{\sum_{i=1}^n x_iy_i}{\sum_{i=1}^n x_i^2}$$

这个公式就是最小二乘法的MLE理解模式。