递归最小二乘法目标函数

### 递归最小二乘法的目标函数

递归最小二乘法（Recursive Least Squares, RLS）旨在通过迭代更新的方式估计线性系统的参数，使得预测输出与实际测量之间的误差平方和最小化。目标函数可以表示为：

\[
J(k) = \sum_{i=1}^{k} e^2(i)
\]

其中 \(e(i)\) 是第 \(i\) 步的残差，定义为实际观测值 \(y(i)\) 和模型预测值 \(\hat{y}(i|θ(k))\) 的差异:

\[
e(i) = y(i) - \hat{y}(i|\theta(k))
\]

为了使上述代价函数最小化，在每一步都希望找到最佳参数向量 \(\theta(k)\)，该过程可以通过引入遗忘因子来增强对新数据的关注度。

#### 参数更新方程

RLS 使用如下公式来进行参数更新[^1]:

K(k) = P(k-1)*phi(k)/(lambda + phi'(k)*P(k-1)*phi(k));
theta(k) = theta(k-1) + K(k)*(y(k)-phi'(k)*theta(k-1));
P(k) = (eye(size(theta))-K(k)*phi'(k))*P(k-1)/lambda;

此处：
- `K` 表示增益矩阵；
- `theta` 表示待估参数向量；
- `P` 表示协方差矩阵；
- `phi` 表示回归矢量；
- `lambda` 表示遗忘因子；

这些变量共同作用于优化过程中，逐步逼近最优解。

#### MATLAB实现例子

下面给出一段简单的MATLAB代码用于演示如何应用RLS算法进行在线参数估计：

% 初始化参数
N = length(y); % 数据长度
p = size(phi, 2); % 输入维度
Theta_hat = zeros(p, N); % 存储每次迭代后的参数估计值
P = eye(p) * 10^6; % 初始协方差矩阵设定较大数值
Lambda = 0.98; % 设置遗忘因子介于(0,1]之间

for k = 1:N
    Phi_k = phi(:, k);
    
    % 计算卡尔曼增益
    K = P*Phi_k / (Lambda + Phi_k'*P*Phi_k);

    % 更新参数估计
    Theta_hat(:, k) = Theta_hat(:, max([1,k-1])) + ...
                      K*(y(k) - Phi_k' * Theta_hat(:, max([1,k-1])));
                      
    % 更新协方差矩阵
    P = (eye(p) - K*Phi_k') * P / Lambda;
end

此段代码展示了基于给定输入输出序列 `phi`, `y` 来执行一次完整的RLS循环操作，并保存每一时刻得到的最佳参数估计结果到 `Theta_hat` 中。