凸函数和凹函数分别是什么

在微积分中，凸函数和凹函数是描述函数曲线弯曲程度的概念。一个函数f(x)在定义域I上是凸函数，当且仅当对于任意的x1, x2∈I和任意的t∈[0,1]，都有以下不等式成立：

f(tx1 + (1−t)x2) ≤ tf(x1) + (1−t)f(x2)

即函数曲线上任意两点的连线在函数曲线上方或在函数曲线上，也可以理解为函数曲线上的任意弦线均在函数曲线上方或在函数曲线上。如果上述不等式中的等号成立，则称该函数在I上是严格凸函数。

类似地，一个函数f(x)在定义域I上是凹函数，当且仅当对于任意的x1, x2∈I和任意的t∈[0,1]，都有以下不等式成立：

f(tx1 + (1−t)x2) ≥ tf(x1) + (1−t)f(x2)

即函数曲线上任意两点的连线在函数曲线下方或在函数曲线上，也可以理解为函数曲线上的任意弦线均在函数曲线下方或在函数曲线上。如果上述不等式中的等号成立，则称该函数在I上是严格凹函数。

相关问题

对于矩阵X，σ(X)是矩阵X的奇异值向量，那么若X是对称矩阵，σ(X)是凸函数还是凹函数，若X是一般矩阵，σ(X)是凸函数还是凹函数，为什么？

对于矩阵 $X$，若 $X$ 是对称矩阵，则 $\sigma(X)$ 是凸函数；若 $X$ 是一般矩阵，则 $\sigma(X)$ 不是凸函数。

当 $X$ 是对称矩阵时，根据谱定理，$X$ 可以被对角化为 $Q\Lambda Q^\top$ 的形式，其中 $Q$ 是正交矩阵，$\Lambda$ 是对角矩阵，且对角线上的元素为 $X$ 的特征值。由于 $X$ 是对称矩阵，因此其特征值都是实数，且 $X$ 的奇异值等于其特征值的绝对值。因此，$\sigma(X)$ 可以看做是 $\Lambda$ 的对角线上元素的绝对值之和，即 $\sigma(X) = \sum_{i=1}^n |\lambda_i|$。对于任意 $t \in [0,1]$ 和对称矩阵 $X_1, X_2$，设其特征值对应的绝对值分别为 $\{|\lambda_i^{(1)}|\}$ 和 $\{|\lambda_i^{(2)}|\}$，则
$$
\begin{aligned}
\sigma(tX_1+(1-t)X_2)
&= \sum_{i=1}^n |\lambda_i^{(tX_1+(1-t)X_2)}| \\
&= \sum_{i=1}^n |t\lambda_i^{(X_1)}+(1-t)\lambda_i^{(X_2)}| \\
&\leq t\sum_{i=1}^n |\lambda_i^{(X_1)}|+(1-t)\sum_{i=1}^n |\lambda_i^{(X_2)}| \\
&= t\sigma(X_1)+(1-t)\sigma(X_2).
\end{aligned}
$$
因此，$\sigma(X)$ 是凸函数。

当 $X$ 是一般矩阵时，$\sigma(X)$ 不是凸函数。可以考虑二阶范数的情况，即 $f(X) = \|\sigma(X)\|_2^2 = \sum_{i=1}^n \sigma_i^2(X)$。对于任意 $t \in [0,1]$ 和矩阵 $X_1, X_2$，设其奇异值分别为 $\{\sigma_i^{(1)}\}$ 和 $\{\sigma_i^{(2)}\}$，则
$$
\begin{aligned}
f(tX_1+(1-t)X_2)
&= \sum_{i=1}^n \sigma_i^2(tX_1+(1-t)X_2) \\
&= \sum_{i=1}^n \sigma_i^2(tU_1\Sigma_1V_1^\top+(1-t)U_2\Sigma_2V_2^\top) \\
&= \sum_{i=1}^n (t\sigma_i^{(1)}+(1-t)\sigma_i^{(2)})^2,
\end{aligned}
$$
其中 $X_1 = U_1\Sigma_1V_1^\top$，$X_2 = U_2\Sigma_2V_2^\top$ 是 $X_1, X_2$ 的奇异值分解。取 $X_1 = \begin{bmatrix}1&0\\0&0\end{bmatrix}$，$X_2 = \begin{bmatrix}0&0\\0&1\end{bmatrix}$，则 $f(X_1) = f(X_2) = 1$，但是
$$
f\left(\frac{1}{2}X_1+\frac{1}{2}X_2\right) = \sum_{i=1}^2\left(\frac{1}{2}\sigma_i^{(1)}+\frac{1}{2}\sigma_i^{(2)}\right)^2 = \frac{1}{2},
$$
因此 $f(X)$ 不满足 Jensen 不等式，即 $f(X)$ 不是凸函数。

对于x是标量，向量或者矩阵，G(x)是矩阵输出函数，σ(G(x))是矩阵G(x)的奇异值向量来说，在h(x)是x处的凹函数，G(x)是一个对称矩阵的条件下，复合函数h(σ(G(x)))是G(x)处的凸函数还是凹函数，为什么？

复合函数h(σ(G(x)))在G(x)处是凸函数。

首先，根据矩阵奇异值分解的定义，矩阵G(x)是一个对称矩阵，因此它的奇异值向量σ(G(x))是一个实数非负向量。同时，由于G(x)是对称矩阵，它可以被对角化，即存在一个正交矩阵P，使得G(x) = PΛP^T，其中Λ是对角矩阵，对角线上的元素就是矩阵G(x)的奇异值。

现在考虑复合函数h(σ(G(x)))在G(x)处的凸性质。根据复合函数的链式法则，它的一阶导数为：

h'(σ(G(x))) * G'(x)

其中G'(x)是矩阵G(x)关于x的导数。由于G(x)是对称矩阵，因此它的导数也是对称矩阵，即G'(x) = (G'(x))^T。又因为h(x)是凹函数，所以h'(σ(G(x)))是单调递减的，即h''(σ(G(x))) ≤ 0。

现在考虑复合函数h(σ(G(x)))在G(x)处的二阶导数，即：

h''(σ(G(x))) * G'(x) * (G'(x))^T + h'(σ(G(x))) * G''(x)

由于G(x)是对称矩阵，因此G''(x)也是对称矩阵。而由于G(x)是实对称矩阵，因此它可以被对角化为G(x) = PΛP^T，其中Λ是对角矩阵，对角线上的元素就是矩阵G(x)的特征值。因此，G''(x)也可以被对角化为G''(x) = PΛ''P^T，其中Λ''是对角矩阵，对角线上的元素就是矩阵G(x)的特征值的导数。

现在我们有：

h''(σ(G(x))) * G'(x) * (G'(x))^T + h'(σ(G(x))) * G''(x)

= h''(σ(G(x))) * PΛP^T * (PΛP^T)^T + h'(σ(G(x))) * PΛ''P^T

= h''(σ(G(x))) * PΛPP^TΛ^TP^T + h'(σ(G(x))) * PΛ''P^T

= P(h''(σ(G(x))) * Λ + h'(σ(G(x))) * Λ'' )P^T

由于h''(σ(G(x))) ≤ 0，因此上式右侧是一个半正定矩阵。由于P是正交矩阵，因此左侧也是一个半正定矩阵。因此，复合函数h(σ(G(x)))在G(x)处是凸函数。

综上所述，复合函数h(σ(G(x)))在G(x)处是凸函数。