概率最小二乘法及其抗差性分析

"概率最小二乘法 (1998年)，彭军还，桂林工学院学报，第18卷第2期，1998年4月" 概率最小二乘法是一种参数估计方法，它从概率密度的角度出发，旨在解决最小二乘法对异常值（或粗差）敏感的问题。在最小二乘法中，估计参数通常是基于观测误差的平均平方和最小化，这种方法忽略了观测误差的分布情况。然而，当数据中存在异常值时，最小二乘估计可能会变得不稳定。 概率最小二乘法则考虑了观测误差的概率分布，它以概率密度作为权重来处理观测数据，从而实现了一种天然的抗差性。这种方法基于两个关键点：一是从方差的离散公式出发，导出以概率密度加权的最小二乘准则；二是从误差的期望的离散公式出发，推导出估值方程。这两个方面共同构成了概率最小二乘法，确保每个观测值根据其对应的概率密度获得相应的权重。 当观测误差遵循正态分布时，概率最小二乘法与最大似然估计相吻合，具备一致性（即随着数据量增加，估计值趋于真实值）和最小估值偏差的特性。最大似然估计是最常见的统计估计方法之一，它试图找到使数据出现概率最大的参数值。 与传统的最小二乘法相比，概率最小二乘法在处理异常值时更为稳健。传统的M估计（广义极大似然估计）将观测误差视为污染分布，并通过定义损失函数来区分小误差和大误差（粗差）。对于小误差，M估计赋予相同的权重，而对于大误差（粗差），则根据误差大小给予较小的权重。然而，这种方法依赖于预先设定的阈值来区分正常误差和异常误差，而概率最小二乘法则更自然地考虑了误差的分布。 在实际应用中，如果假设所有观测误差都来自同一分布，概率最小二乘法可以提供一种更加一致和稳健的估计方法。例如，当误差为正态分布时，这种方法相当于最小t二乘估计，而当误差为拉普拉斯分布时，则转化为最小绝对偏差估计。尽管最小绝对偏差估计在处理异常值时更具抗差性，但其效率较低且可能存在多个解。 总结来说，概率最小二乘法是通过考虑观测误差的概率分布来改进最小二乘法的一种统计方法，它能够提供更稳定、抗差的估计结果，特别是在数据中存在异常值的情况下。这种方法与最大似然估计和M估计有密切联系，但在处理非正态分布或存在粗差的数据集时，概率最小二乘法显示出更强的适应性和鲁棒性。