证明y=β0+β1x1+ε的RSS大于y=β0+β1x1+β2x2+ε的RSS

当我们有两个线性回归模型，一个是简单模型 \( y = \beta_0 + \beta_1 x_1 + \varepsilon \)，另一个是包含更多解释变量的模型 \( y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \varepsilon \)，其中 \( \varepsilon \) 表示误差项，如果假设增加的解释变量 \( x_2 \) 对 \( y \) 的影响无关联或者负贡献，那么添加这个新变量通常不会降低残差平方和 (Residual Sum of Squares, RSS)。

简单来说，RSS衡量的是实际值与预测值之间的差异平方之和。当\( x_2 \) 没有显著改善模型对 \( y \) 的解释能力时，即它的系数 \( \beta_2 \) 接近于0或者不显著，包括它在内的更复杂模型可能会因为额外引入了噪音数据而增大RSS，因为原本由 \( x_1 \) 解释的部分现在被错误地分配给了 \( x_2 \)。

然而，如果 \( x_2 \) 真实上提供了额外的信息，使得模型的拟合度提高，那么RSS会减小。因此，我们不能一概而论地说第一个模型的RSS一定大于第二个模型，需要通过统计检验来判断新增解释变量是否真正有益。