线性回归最小二乘法推导

线性回归最小二乘法的推导是通过最小化预测值与实际观测值之间的平方差来确定模型参数的方法。假设我们有一个线性模型：

y = θ0 + θ1 * x1 + θ2 * x2 + ... + θn * xn + ε

其中，y是因变量，x1, x2, ..., xn是自变量，θ0, θ1, θ2, ..., θn是模型的参数，ε是误差项。

我们的目标是找到一组参数θ使得模型的预测值与实际观测值之间的平方差最小。定义损失函数（平方差损失函数）：

J(θ) = (1/2m) * ∑(y_pred - y_obs)^2

其中，m是样本数量，y_pred是模型的预测值，y_obs是实际观测值。

为了最小化损失函数，我们需要对θ进行求导，并令导数为0。首先，将线性模型表示为向量形式：

y = Xθ + ε

其中，y是m维的观测向量，X是一个大小为m×(n+1)的设计矩阵，包含m个样本的n+1个特征（包括一个常数项1），θ是参数向量，ε是误差向量。

利用最小二乘法推导，我们可以得到参数θ的估计值：

θ_hat = (X^T X)^(-1) X^T y

其中，X^T表示X的转置，(X^T X)^(-1)表示X^T X的逆矩阵。

这样，通过最小二乘法推导，我们可以得到线性回归模型的参数估计值θ_hat。