矩阵(ax-b)^2对x求导

对矩阵 $(ax-b)^2$ 求导，其中 $a$ 和 $b$ 是已知常数，而 $x$ 是待求导变量。

首先，我们将矩阵的平方展开，得到 $(ax-b)^2 = (ax-b)(ax-b)$。

然后，我们将展开的式子按照分配律展开为四个部分：$ax \cdot ax - ax \cdot b - b \cdot ax + b \cdot b$。

接下来，我们对每一项进行求导。

第一项：由于 $ax$ 是关于 $x$ 的线性函数，所以 $(ax \cdot ax)' = 2ax$。

第二项：由于 $ax$ 是关于 $x$ 的线性函数，所以 $(ax \cdot b)' = ab$。

第三项：同理，$(b \cdot ax)' = ab$。

第四项：由于 $b$ 是常数，所以 $(b \cdot b)' = 0$。

最后，将每一项的导数加起来，得到 $(ax-b)^2$ 对 $x$ 的导数为：$2ax - 2ab$。

因此，矩阵 $(ax-b)^2$ 对 $x$ 的导数为 $2ax - 2ab$。

相关问题

计算下列优化问题的对偶问题：(c) min x∈Rn ∥Ax − b∥∞;

考虑原始问题：

$$\min_{x \in \mathbb{R}^n} \|Ax-b\|_{\infty}$$

其中，$A$ 是 $m \times n$ 的矩阵，$b$ 是 $m$ 维向量，$\|\cdot\|_{\infty}$ 表示向量的无穷范数，即向量中绝对值最大的元素。

将 $\|\cdot\|_{\infty}$ 表示为一系列线性不等式的形式，即：

$$\|v\|_{\infty} \leq t \iff -t \leq v_i \leq t, \forall i=1,2,\ldots,n$$

则原始问题可以表示为：

$$\min_{x \in \mathbb{R}^n} t$$

$$\text{s.t.} \quad -t \leq (Ax-b)_i \leq t, \quad \forall i=1,2,\ldots,m$$

将上述问题转化为拉格朗日对偶问题，定义拉格朗日函数：

$$L(x,t,\lambda,\mu) = t + \sum_{i=1}^{m}\lambda_i (Ax-b)_i - \sum_{i=1}^{m}\mu_i(Ax-b)_i - \sum_{i=1}^{n}\nu_i(-t-x_i)+\sum_{i=1}^{n}\omega_i(t-x_i)$$

其中，$\lambda_i$、$\mu_i$、$\nu_i$、$\omega_i$ 都是拉格朗日乘子，并满足 $\lambda_i \geq 0$、$\mu_i \geq 0$、$\nu_i \geq 0$、$\omega_i \geq 0$。

对 $x$ 求导，并令导数为 $0$，得到：

$$\frac{\partial L(x,t,\lambda,\mu,\nu,\omega)}{\partial x_i} = \sum_{j=1}^{m} A_{ji}(\lambda_j - \mu_j) - \nu_i + \omega_i = 0, \quad \forall i=1,2,\ldots,n$$

对 $t$ 求导，并令导数为 $0$，得到：

$$\frac{\partial L(x,t,\lambda,\mu,\nu,\omega)}{\partial t} = 1 - \sum_{i=1}^{n}(\nu_i + \omega_i) = 0$$

将上述式子代入拉格朗日函数，得到对偶函数：

$$g(\lambda,\mu,\nu,\omega) = \inf_{x,t} L(x,t,\lambda,\mu,\nu,\omega) = \sum_{i=1}^{m}b_i\lambda_i - \sum_{i=1}^{m}\lambda_i\left(\sum_{j=1}^{n}A_{ij}\mu_j\right) - \sum_{i=1}^{n}\nu_i t - \sum_{i=1}^{n}\omega_i x_i$$

对偶问题为：

$$\max_{\lambda \geq 0, \mu \geq 0, \nu \geq 0, \omega \geq 0} g(\lambda,\mu,\nu,\omega)$$

$$\text{s.t.} \quad \sum_{i=1}^{m}A_{ij}(\lambda_i - \mu_i) - \nu_j + \omega_j = 0, \quad \forall j=1,2,\ldots,n$$

$$\quad \sum_{i=1}^{n}(\nu_i + \omega_i) = 1$$

对偶问题的目标是最大化 $g(\lambda,\mu,\nu,\omega)$，约束条件包括 $\lambda \geq 0$、$\mu \geq 0$、$\nu \geq 0$、$\omega \geq 0$、以及一组线性等式约束。

如何求解超定方程组的最小二乘解

超定方程组是指方程组中未知数的个数大于方程的个数。最小二乘解是指使得方程组中的误差平方和最小的解。求解超定方程组的最小二乘解可以使用矩阵的伪逆来实现。

设超定方程组为 $Ax=b$，其中 $A$ 是 $m\times n$ 的矩阵，$m>n$，向量 $b$ 是 $m$ 维列向量。将超定方程组转化为误差方程 $e=Ax-b$，则误差平方和为 $||e||^2=e^Te=(Ax-b)^T(Ax-b)$。对误差平方和求导，得到：

$\frac{\partial ||e||^2}{\partial x} = 2A^T(Ax-b)$

令导数为零，解得 $x=(A^TA)^{-1}A^Tb$，这就是超定方程组的最小二乘解。其中 $(A^TA)^{-1}A^T$ 称为 $A$ 的伪逆矩阵，记作 $A^+$。因此最小二乘解可以写成 $x=A^+b$。

需要注意的是，如果 $A$ 的列向量线性相关，即 $A$ 的秩小于 $n$，则 $A^TA$ 是奇异矩阵，无法直接求逆。此时可以使用广义逆矩阵，也称为伪逆矩阵，来求解最小二乘解。