一元线性回归最小二乘法参数推导

一元线性回归的目标是找到一条直线来拟合数据，使得拟合线距离数据点的误差最小化。最小二乘法是一种常见的用来求解线性回归参数的方法。

假设我们有一组数据集合 {(x1, y1), (x2, y2), ..., (xn, yn)}，其中 xi 是自变量，yi 是因变量。一元线性回归模型可以表示为 y = β0 + β1*x，其中 β0 和 β1 是待求的参数。

最小二乘法的目标是找到使得误差平方和最小化的参数值。我们定义误差 e = y - (β0 + β1*x)，其中 e 是实际值与预测值之间的差异。我们将误差平方和定义为损失函数，即 L = ∑(e^2) = ∑((y - (β0 + β1*x))^2)。我们的目标是最小化损失函数 L。

为了求解最小二乘法的参数，我们需要对损失函数 L 进行优化。我们可以通过对 β0 和 β1 分别求导，令导数为 0，从而得到参数的闭式解。

首先对 β0 求导：
∂L/∂β0 = -2∑(y - (β0 + β1*x))
令导数为 0，得到：
∑y - n*β0 - β1*∑x = 0
解出 β0，得到：
β0 = (∑y - β1*∑x)/n

然后对 β1 求导：
∂L/∂β1 = -2∑x(y - (β0 + β1*x))
令导数为 0，得到：
∑xy - β0*∑x - β1*∑(x^2) = 0
将 β0 的值代入上式，得到：
∑xy - (∑y - β1*∑x)/n * ∑x - β1*∑(x^2) = 0
整理后可得：
∑xy - (∑x*∑y)/n = β1*(∑(x^2) - (∑x)^2/n)
解出 β1，得到：
β1 = (∑xy - (∑x*∑y)/n) / (∑(x^2) - (∑x)^2/n)
至此，我们得到了一元线性回归最小二乘法的参数推导。