岭回归和线性回归的区别

岭回归（Ridge Regression）和线性回归（Linear Regression）都是统计学和机器学习中的基本模型，用于预测一个或多个连续变量。它们在本质上都是最小二乘法的应用，但处理数据的不同特征导致了一些关键的区别。

**线性回归**:
1. 目标：线性回归的目标是最小化残差平方和，即预测值和实际值之间的差距的平方和。
2. 模型假设：线性回归假设自变量和因变量之间存在线性关系。
3. 正则化：没有引入正则化项，所以它容易过拟合，特别是在特征数多于样本数的情况下。
4. 解决方法：通过求解一个线性系统的最小二乘解来找到最佳参数。

**岭回归**:
1. 引入正则化：除了最小化残差平方和，还添加了一个正则化项，用来控制模型复杂度，防止过拟合。
2. 控制多重共线性：当特征间高度相关时，岭回归可以稳定权重，防止某些特征对结果产生过大影响。
3. 系数稀疏性：由于正则化，某些系数会被显著减小，实现特征选择的效果。
4. 解决方法：优化目标时加入L2范数，通常使用正规方程或者迭代算法如梯度下降找到权值。