列文伯格-马夸尔特算法 推导

列文伯格-马夸尔特算法（Levenberg-Marquardt algorithm）是一种非线性最小二乘优化算法，用于解决非线性最小二乘问题。下面是列文伯格-马夸尔特算法的推导过程：

1. 非线性最小二乘问题的一般形式为：
$$
\min_{x} \frac{1}{2} \sum_{i=1}^{m} r_{i}^{2}(x)
$$
其中，$x$ 是一个 $n$ 维向量，$r_{i}(x)$ 是一个关于 $x$ 的非线性函数，$m$ 是数据点的数量。

2. 首先，我们将 $r_{i}(x)$ 在 $x_{k}$ 处进行泰勒展开，得到：
$$
r_{i}(x) \approx r_{i}(x_{k}) + J_{i}(x_{k}) (x - x_{k})
$$
其中，$J_{i}(x_{k})$ 是 $r_{i}(x)$ 在 $x_{k}$ 处的雅可比矩阵。

3. 将上式代入非线性最小二乘问题中，得到：
$$
\min_{x} \frac{1}{2} \sum_{i=1}^{m} [r_{i}(x_{k}) + J_{i}(x_{k}) (x - x_{k})]^{2}
$$

4. 对上式进行求导，得到：
$$
J(x_{k})^{T} J(x_{k}) \Delta x = -J(x_{k})^{T} r(x_{k})
$$
其中，$J(x_{k})$ 是 $r(x)$ 在 $x_{k}$ 处的雅可比矩阵，$\Delta x = x - x_{k}$。

5. 如果 $J(x_{k})^{T} J(x_{k})$ 是非奇异矩阵，则可以直接求解 $\Delta x$：
$$
\Delta x = -(J(x_{k})^{T} J(x_{k}))^{-1} J(x_{k})^{T} r(x_{k})
$$

6. 如果 $J(x_{k})^{T} J(x_{k})$ 是奇异矩阵，则可以使用列文伯格-马夸尔特算法。具体来说，我们可以将上式改写为：
$$
(J(x_{k})^{T} J(x_{k}) + \lambda I) \Delta x = -J(x_{k})^{T} r(x_{k})
$$
其中，$\lambda$ 是一个正的常数，$I$ 是单位矩阵。
7. 如果 $\lambda$ 很小，则上式退化为高斯牛顿法；如果 $\lambda$ 很大，则上式退化为梯度下降法。因此，我们可以通过不断调整 $\lambda$ 的值，来实现在高斯牛顿法和梯度下降法之间的平衡。

8. 最终，我们可以通过以下方式更新 $x$：
$$
x_{k+1} = x_{k} + \Delta x
$$