凸函数的次梯度和次微分
时间: 2024-04-04 17:33:27 浏览: 80
对于凸函数 $f(x)$,在点 $x$ 处的次梯度集合定义为:
$$\partial f(x) = \{g \in \mathbb{R}^n | f(y) \geq f(x) + g^T(y-x), \forall y \in \mathbb{R}^n\}$$
其中,$g$ 是 $f(x)$ 在点 $x$ 处的次梯度。如果 $f(x)$ 在点 $x$ 处可微,则 $\partial f(x)$ 中只包含唯一的梯度 $\nabla f(x)$,此时 $\partial f(x) = \{\nabla f(x)\}$。
次微分是次梯度的一个变种,它是定义在函数 $f$ 的所有点上的。在点 $x$ 处的次微分集合定义为:
$$\partial^- f(x) = \{g \in \mathbb{R}^n | f(y) \geq f(x) + g^T(y-x) + o(||y-x||), \text{as } y \rightarrow x\}$$
其中,$g$ 是 $f(x)$ 在点 $x$ 处的次微分。如果 $f(x)$ 在点 $x$ 处可微,则 $\partial^- f(x)$ 中只包含唯一的梯度 $\nabla f(x)$,此时 $\partial^- f(x) = \{\nabla f(x)\}$。
需要注意的是,次微分的定义中包含了一个小量 $o(||y-x||)$,表示当 $y$ 趋近于 $x$ 时,$f(y)$ 和 $f(x)+g^T(y-x)$ 之间的差距可以忽略不计。这是因为对于凸函数而言,它的次梯度和次微分是唯一的,因此可以用它们来近似函数值。
相关问题
二次积分函数是凸函数吗
二次积分函数是凸函数。
二次积分函数的一般形式为 $f(x)=\frac{1}{2}\int_{0}^{x} t^2 dt = \frac{1}{6}x^3$。我们可以证明,对于任意的 $x_1,x_2 \in \mathbb{R}$ 和 $0 \leq \lambda \leq 1$,都有:
$$
f(\lambda x_1 + (1-\lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2)
$$
即二次积分函数满足凸函数的定义条件,因此是一个凸函数。
证明:
首先,我们有:
$$
\begin{aligned}
\lambda f(x_1) + (1 - \lambda) f(x_2) &= \frac{\lambda}{6}x_1^3 + \frac{1-\lambda}{6}x_2^3 \\
&= \frac{1}{6} (\lambda x_1^3 + (1-\lambda) x_2^3)
\end{aligned}
$$
然后,我们考虑 $f(\lambda x_1 + (1-\lambda) x_2)$:
$$
\begin{aligned}
f(\lambda x_1 + (1-\lambda) x_2) &= \frac{1}{2}\int_{0}^{\lambda x_1 + (1-\lambda) x_2} t^2 dt \\
&= \frac{1}{2}\int_{0}^{\lambda x_1} t^2 dt + \frac{1}{2}\int_{\lambda x_1}^{\lambda x_1 + (1-\lambda) x_2} t^2 dt \\
&= \frac{\lambda^3}{6}x_1^3 + \frac{1}{6}\left(\lambda x_1 + (1-\lambda) x_2\right)^3 - \frac{\lambda^3}{6}x_1^3 \\
&= \frac{1}{6}(\lambda x_1^3 + (1-\lambda) x_2^3 + 3\lambda(1-\lambda)x_1^2x_2 + 3\lambda^2(1-\lambda)x_1x_2^2)
\end{aligned}
$$
接着,我们考虑 $f(\lambda x_1 + (1-\lambda) x_2) - (\lambda f(x_1) + (1 - \lambda) f(x_2))$:
$$
\begin{aligned}
&f(\lambda x_1 + (1-\lambda) x_2) - (\lambda f(x_1) + (1 - \lambda) f(x_2)) \\
=& \frac{1}{6}(\lambda x_1^3 + (1-\lambda) x_2^3 + 3\lambda(1-\lambda)x_1^2x_2 + 3\lambda^2(1-\lambda)x_1x_2^2) \\
&- \frac{1}{6} (\lambda x_1^3 + (1-\lambda) x_2^3) \\
=& \frac{1}{6} \lambda(1-\lambda) (3x_1^2x_2+3x_1x_2^2-2x_1^3-2x_2^3) \\
=& \frac{1}{6} \lambda(1-\lambda) (x_1+x_2)(x_1^2+x_2^2-2x_1x_2) \\
=& \frac{1}{6} \lambda(1-\lambda) (x_1-x_2)^2(x_1+x_2) \\
\leq& 0
\end{aligned}
$$
因此,我们得到了 $f(\lambda x_1 + (1-\lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2)$,即二次积分函数满足凸函数的定义条件,因此是一个凸函数。
如何根据二次矩阵判断凸函数
一个二次函数可以表示为 $f(x) = x^T A x + b^T x + c$,其中 $x \in \mathbb{R}^n$,$A$ 是 $n \times n$ 的矩阵,$b \in \mathbb{R}^n$,$c \in \mathbb{R}$。如果 $A$ 是半正定矩阵,那么 $f(x)$ 是凸函数,否则不是凸函数。
证明如下:
对于任意 $x_1, x_2 \in \mathbb{R}^n$,$t \in [0,1]$,有:
$$
\begin{aligned}
f(tx_1 + (1-t)x_2) &= (tx_1 + (1-t)x_2)^T A (tx_1 + (1-t)x_2) + b^T(tx_1 + (1-t)x_2) + c \\
&= t^2x_1^T Ax_1 + (1-t)^2x_2^T Ax_2 + 2t(1-t)x_1^T Ax_2 \\
&\quad + tb^T x_1 + (1-t)b^T x_2 + c \\
&= t(x_1^T Ax_1 + b^T x_1 + c) + (1-t)(x_2^T Ax_2 + b^T x_2 + c) \\
&\quad + 2t(1-t)x_1^T Ax_2 \\
&= tf(x_1) + (1-t)f(x_2) + 2t(1-t)x_1^T Ax_2
\end{aligned}
$$
由于 $A$ 是半正定矩阵,因此 $x_1^T A x_1 \ge 0$,$x_2^T A x_2 \ge 0$,$x_1^T A x_2 \ge 0$,所以 $2t(1-t)x_1^T Ax_2 \ge 0$,于是 $f(tx_1 + (1-t)x_2) \le tf(x_1) + (1-t)f(x_2)$,即 $f(x)$ 满足凸函数的定义,因此 $f(x)$ 是凸函数。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)