一元线性回归分析：剔除残差与异常值检测

"第六章 调查数据的回归分析 - 主要内容包括一元线性回归、多元线性回归、逐步回归、虚拟解释变量问题、用SPSS处理经典回归问题、曲线回归与SPSS的应用。重点讲解了一元线性回归的基本概念、区别于相关分析的特点以及回归分析的一般步骤。" 在统计学中，回归分析是一种重要的数据分析工具，它旨在通过一组样本数据来建立变量之间的数学关系。在线性回归分析中，我们特别关注因变量与一个或多个自变量之间的线性关系。在"剔除残差-线性回归分析"这一主题中，剔除残差是评估模型性能和识别异常值的一种方法。 一元线性回归是最基础的回归形式，它涉及一个自变量x和一个因变量y。回归方程通常表示为y = a + bx + ε，其中a是截距，b是斜率，ε是误差项，代表因变量y未被自变量x完全解释的部分。为了构建这个方程，我们使用最小二乘法，目的是找到最佳拟合直线，使得所有样本点到这条直线的垂直距离（即残差）的平方和最小。 剔除残差是一种检测异常值的技术。在计算某个样本的残差时，我们暂时将该样本从数据集中移除，然后用剩下的数据拟合一个新的回归线。接着，我们用这条新的回归线去预测被剔除样本的y值，从而得到其剔除残差。这种方法的残差与原始数据中的y值无关，因此能更客观地反映数据的特性。 异常值是指那些远离其他观测值的数据点，它们可能是测量错误或者具有特殊意义的极端情况。在剔除残差的上下文中，如果一个样本的学生化残差（考虑了误差项的标准差）的绝对值大于3，通常认为这个样本可能是一个异常值，应当进一步检查。剔除这些异常值有助于提高模型的预测精度和稳定性。 回归分析与相关分析有所不同。相关分析关注两个变量之间的关系强度，而回归分析则侧重于预测因变量y的值，通常会通过统计检验确定自变量对因变量的影响是否显著。在回归分析中，因变量是随机的，而自变量可以是随机或非随机的。此外，回归分析允许自变量和因变量是不同类型的变量，如定类、定序或定距变量。 回归分析的过程通常包括以下几个步骤： 1. 数据收集和预处理，包括清洗和处理缺失值、异常值。 2. 建立模型，选择合适的回归函数类型（如线性、非线性）。 3. 拟合模型，确定参数（截距和斜率）。 4. 评估模型性能，包括计算残差、R²、均方误差等指标。 5. 检验假设，例如检查残差是否符合正态分布，自相关性等。 6. 异常值检测，如通过剔除残差或学生化残差的方法。 7. 如果需要，进行模型修正或改进，如添加或删除自变量，转换变量等。 8. 最后，根据模型进行预测或解释。 在实际应用中，例如研究人均收入是否影响人均食品消费支出，我们首先会画出散点图观察趋势，然后构建一元线性回归模型，通过模型确定收入与支出之间的关系，并可能根据残差分析来调整模型或识别异常值。同样，其他如贷款余额与不良贷款、航班正点率与投诉次数、广告费用与销售额的关系等，都可以通过类似的方法进行研究和预测。