递推最小二乘算法的协方差矩阵怎么得来的
时间: 2023-12-13 19:04:16 浏览: 60
递推最小二乘算法(Recursive Least Squares, RLS)是一种用于估计线性回归模型参数的方法。在RLS中,协方差矩阵用于计算参数的更新。下面是协方差矩阵的推导过程:
假设我们有一个线性回归模型,表示为 y = Xθ + ε,其中 y 是观测值向量,X 是设计矩阵,θ 是参数向量,ε 是误差向量。
RLS的目标是最小化误差的二范数,即 min ||y - Xθ||₂²。我们可以通过最小化误差的平方和来实现这一目标。
首先,我们定义误差向量 e = y - Xθ。然后,我们可以将误差的平方和表示为:
J(θ) = eᵀe = (y - Xθ)ᵀ(y - Xθ)
为了简化推导过程,我们可以使用矩阵记法,将 J(θ) 表示为:
J(θ) = (yᵀ - θᵀXᵀ)(y - Xθ)
接下来,我们对 J(θ) 进行展开和化简:
J(θ) = yᵀy - yᵀXθ - θᵀXᵀy + θᵀXᵀXθ
要最小化 J(θ),我们需要对 θ 求导,并令导数等于零:
∂J(θ)/∂θ = -2Xᵀy + 2XᵀXθ = 0
解这个方程,我们得到最小二乘估计的闭合解:
θ = (XᵀX)⁻¹Xᵀy
然而,在递推最小二乘算法中,我们希望能够在线性地更新参数,而不是一次性计算闭合解。为此,我们引入协方差矩阵 P。
协方差矩阵 P 是一个对称正定矩阵,它描述了参数向量 θ 的不确定性。在每一次迭代中,我们使用以下公式更新 P:
P(k) = (P(k-1)⁻¹ + X(k)ᵀX(k))⁻¹
其中,k 表示当前的迭代步骤。
最后,我们可以使用以下公式来递推地更新参数向量 θ:
θ(k) = θ(k-1) + P(k)X(k)ᵀ(y(k) - X(k)θ(k-1))
这就是递推最小二乘算法中协方差矩阵的推导过程。通过递推地更新参数和协方差矩阵,我们可以在线性地估计线性回归模型的参数。