线性回归与局部加权线性回归解析

"这篇文档是关于线性回归的综合学习资料，涵盖了标准线性回归、局部加权线性回归以及正则化的ridge和lasso方法。" 线性回归是一种广泛应用的统计学方法，用于建立输入变量（X）与输出变量（Y）之间的线性关系模型。在标准线性回归中，目标是找到最佳的权重向量w，使得模型预测的输出（Xw）与实际数据点Y之间的均方误差（MSE）最小。MSE是通过计算预测值与真实值差的平方的平均值来度量预测精度的。向量化表示MSE为(Y - Xw)²的转置与自身的乘积，然后求其平均。 在优化过程中，通过求MSE关于w的偏导数并令其等于零，可以得到线性回归的核心公式：w = (X^TX)^(-1)X^TY。然而，这种方法存在一个问题，即当特征数量大于样本数量时，X^TX可能不是满秩矩阵，导致无法求解w。这种情况下，模型无法处理过少的数据或过多的特征，会发生欠拟合。 局部加权线性回归（Locally Weighted Linear Regression, LWR）是对标准线性回归的一种扩展，它考虑了样本间的相似性。LWR为每个测试样本计算一个特定的权重系数w，这个系数是基于样本与其邻近样本的相似度。相似度通常通过指数衰减函数（如高斯核）来度量，距离越近的样本对预测的影响越大。这使得LWR能更好地适应局部趋势，尤其适用于非线性模式。然而，LWR没有一个固定的模型，而是每次预测时都需要重新计算权重，这可能增加计算复杂性。 在LWR的MSE计算中，引入了一个以θ为对角元素的对角矩阵，θ通常与样本点到测试点的距离有关。较大的θ值意味着更宽的“钟形”曲线，考虑更多的点，可能导致欠拟合；而较小的θ值则更关注临近点，可能引发过拟合。 此外，文档中提到的ridge和lasso是两种正则化技术，用于解决线性回归中的过拟合问题。Ridge回归通过对权重向量w施加L2范数惩罚来约束模型复杂度，防止权重过大。而lasso回归使用L1范数，除了限制权重的绝对值，还能实现特征选择，使得部分不重要的特征权重为零。 这篇文档涵盖了线性回归的基本原理，包括模型的构建、优化以及面对不同问题的解决方案，如局部加权和正则化技术，对于理解线性回归模型及其变种有极大的帮助。