机器学习笔记：最小二乘法原理与应用

"最小二乘法" 最小二乘法是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。它可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，解决回归问题。 在机器学习中，最小二乘法是一种常用的优化方法，用于解决无约束最优化问题。它可以用于曲线拟合，来解决回归问题。最小二乘法实质就是最小化“均方误差”，而均方误差就是残差平方和的1/m（m为样本数），同时均方误差也是回归任务中最常用的性能度量。 在一元线性模型中，最小二乘法可以用于解决回归分析问题。如果回归分析中包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 对于一元线性回归模型，假设从总体中获取了m组观察值（X1，Y1），（X2，Y2），…，（Xm，Ym）。对于平面中的这m个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。 有以下三个标准可以选择： （1）用“残差和最小”确定直线位置是一个途径。但可能会出现计算“残差和”存在相互抵消的问题。 （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。 （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。 最常用的是普通最小二乘法（OrdinaryLeastSquare，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。普通最小二乘法有很多优点，如计算方便、结果稳定等。但是，它也存在一些缺陷，如对异常值敏感、计算结果可能不robust等。 在实际应用中，最小二乘法可以用于解决各种回归问题，如简单线性回归、多元线性回归、非线性回归等。它也可以用于解决其他优化问题，如曲线拟合、函数拟合等。 最小二乘法是一种非常有用的优化方法，广泛应用于机器学习、统计学、工程技术等领域。