递推最小二乘法详解：从RLS到加权RLS

"加权递推最小二乘法-递推最小二乘辨识" 递推最小二乘法（Recursive Least-squares, RLS）是一种用于参数估计的算法，尤其适用于在线辨识和实时控制任务。它从成批型最小二乘法（Batch Least-squares, LS）演变而来，克服了后者计算量大、内存需求高以及无法实时处理新数据的缺点。RLS算法通过每次新获取数据时更新参数估计，从而逐步优化估计结果。 在RLS方法中，核心思想是每次根据新数据调整旧的参数估计值，形成新的估计值。这一过程可以用公式表示为：新的参数估计值 = 旧的参数估计值 + 修正项。这种递推更新的方式显著减少了计算和存储的需求，使得RLS适合于处理动态变化的系统或者需要实时响应的情况，例如在线估计、自适应控制、时变参数辨识、故障监测与诊断以及仿真等。 RLS法的原始形式不考虑加权因子。但为了应对不同数据点的重要性差异，引入了加权因子λk，形成了加权递推最小二乘法（Weighted Recursive Least-squares, WRLS）。加权因子可以用来补偿历史数据的影响，例如，随着数据点的增加，可以降低较早数据点的权重，使得算法更加关注最近的数据。加权矩阵Λk是对角矩阵，其元素为λ1, λ2, ..., λk，分别对应每个数据点的权重。 无加权的RLS算法通常从一个初始估计值开始，然后每接收到一个新的观测数据点，就会更新参数估计。这一过程可以通过Plackett在1950年提出的递推算法来描述。具体推导涉及将成批型LS算法转化为随时间演变的递推形式，即不断地根据新数据调整参数估计。 在实际应用中，RLS算法的加权因子选择至关重要，因为它们直接影响到估计的精度和稳定性。例如，如果λk取值过大，新数据点的影响可能被过分强调，导致估计结果波动剧烈；反之，如果λk取值过小，旧数据点的影响可能会过度保留，使得算法难以适应系统的变化。 此外，还有一种特殊的加权RLS方法，称为渐消记忆RLS（Exponential forgetting RLS），它使用指数衰减的权重来平衡新旧数据的影响，这种算法特别适合处理时变系统，因为它能够快速适应系统参数的变化。 总结来说，加权递推最小二乘法是参数辨识和自适应控制中的重要工具，通过递推更新和加权因子，实现了对新数据的高效处理和对历史数据的合理权衡，确保了在动态环境下的准确性和实时性。在系统辨识、自适应控制、在线学习系统和数据挖掘等多个领域，RLS及其变体都有广泛且重要的应用。