凸函数和凹函数分别是什么

在微积分中，凸函数和凹函数是描述函数曲线弯曲程度的概念。一个函数f(x)在定义域I上是凸函数，当且仅当对于任意的x1, x2∈I和任意的t∈[0,1]，都有以下不等式成立：

f(tx1 + (1−t)x2) ≤ tf(x1) + (1−t)f(x2)

即函数曲线上任意两点的连线在函数曲线上方或在函数曲线上，也可以理解为函数曲线上的任意弦线均在函数曲线上方或在函数曲线上。如果上述不等式中的等号成立，则称该函数在I上是严格凸函数。

类似地，一个函数f(x)在定义域I上是凹函数，当且仅当对于任意的x1, x2∈I和任意的t∈[0,1]，都有以下不等式成立：

f(tx1 + (1−t)x2) ≥ tf(x1) + (1−t)f(x2)

即函数曲线上任意两点的连线在函数曲线下方或在函数曲线上，也可以理解为函数曲线上的任意弦线均在函数曲线下方或在函数曲线上。如果上述不等式中的等号成立，则称该函数在I上是严格凹函数。

相关问题

对于矩阵X，σ(X)是矩阵X的奇异值向量，那么若X是对称矩阵，σ(X)是凸函数还是凹函数，若X是一般矩阵，σ(X)是凸函数还是凹函数，为什么？

对于矩阵 $X$，若 $X$ 是对称矩阵，则 $\sigma(X)$ 是凸函数；若 $X$ 是一般矩阵，则 $\sigma(X)$ 不是凸函数。

当 $X$ 是对称矩阵时，根据谱定理，$X$ 可以被对角化为 $Q\Lambda Q^\top$ 的形式，其中 $Q$ 是正交矩阵，$\Lambda$ 是对角矩阵，且对角线上的元素为 $X$ 的特征值。由于 $X$ 是对称矩阵，因此其特征值都是实数，且 $X$ 的奇异值等于其特征值的绝对值。因此，$\sigma(X)$ 可以看做是 $\Lambda$ 的对角线上元素的绝对值之和，即 $\sigma(X) = \sum_{i=1}^n |\lambda_i|$。对于任意 $t \in [0,1]$ 和对称矩阵 $X_1, X_2$，设其特征值对应的绝对值分别为 $\{|\lambda_i^{(1)}|\}$ 和 $\{|\lambda_i^{(2)}|\}$，则
$$
\begin{aligned}
\sigma(tX_1+(1-t)X_2)
&= \sum_{i=1}^n |\lambda_i^{(tX_1+(1-t)X_2)}| \\
&= \sum_{i=1}^n |t\lambda_i^{(X_1)}+(1-t)\lambda_i^{(X_2)}| \\
&\leq t\sum_{i=1}^n |\lambda_i^{(X_1)}|+(1-t)\sum_{i=1}^n |\lambda_i^{(X_2)}| \\
&= t\sigma(X_1)+(1-t)\sigma(X_2).
\end{aligned}
$$
因此，$\sigma(X)$ 是凸函数。

当 $X$ 是一般矩阵时，$\sigma(X)$ 不是凸函数。可以考虑二阶范数的情况，即 $f(X) = \|\sigma(X)\|_2^2 = \sum_{i=1}^n \sigma_i^2(X)$。对于任意 $t \in [0,1]$ 和矩阵 $X_1, X_2$，设其奇异值分别为 $\{\sigma_i^{(1)}\}$ 和 $\{\sigma_i^{(2)}\}$，则
$$
\begin{aligned}
f(tX_1+(1-t)X_2)
&= \sum_{i=1}^n \sigma_i^2(tX_1+(1-t)X_2) \\
&= \sum_{i=1}^n \sigma_i^2(tU_1\Sigma_1V_1^\top+(1-t)U_2\Sigma_2V_2^\top) \\
&= \sum_{i=1}^n (t\sigma_i^{(1)}+(1-t)\sigma_i^{(2)})^2,
\end{aligned}
$$
其中 $X_1 = U_1\Sigma_1V_1^\top$，$X_2 = U_2\Sigma_2V_2^\top$ 是 $X_1, X_2$ 的奇异值分解。取 $X_1 = \begin{bmatrix}1&0\\0&0\end{bmatrix}$，$X_2 = \begin{bmatrix}0&0\\0&1\end{bmatrix}$，则 $f(X_1) = f(X_2) = 1$，但是
$$
f\left(\frac{1}{2}X_1+\frac{1}{2}X_2\right) = \sum_{i=1}^2\left(\frac{1}{2}\sigma_i^{(1)}+\frac{1}{2}\sigma_i^{(2)}\right)^2 = \frac{1}{2},
$$
因此 $f(X)$ 不满足 Jensen 不等式，即 $f(X)$ 不是凸函数。

矩阵的迹是凸函数还是凹函数

矩阵的迹是线性函数，因此既不是凸函数也不是凹函数。

对于任意矩阵 $A, B$ 和任意标量 $\lambda \in [0,1]$，有以下性质：

- $\operatorname{tr}(\lambda A + (1-\lambda) B) = \lambda \operatorname{tr}(A) + (1-\lambda) \operatorname{tr}(B)$，即迹是线性函数。
- 对于 $n \times n$ 矩阵 $A$，有 $\operatorname{tr}(A) = \operatorname{tr}(A^T)$，即迹不随转置改变。

因此，迹不满足凸函数的定义，也不满足凹函数的定义。